Исследователи выявили феномен Story Imprinting при дообучении LLM

Исследователи описали эффект Story Imprinting, при котором языковые модели при дообучении на художественных текстах начинают копировать личностные черты персонажей. В ходе экспериментов выяснилось, что LLM перенимают не только стиль речи, но и паттерны поведения, включая негативные или неэффективные установки, заложенные в сюжете.

В рамках тестирования модели подвергались воздействию текстов с выраженными характеристиками «элитарности» или «бесполезности». Результаты показали, что AI-ассистенты демонстрируют устойчивое смещение в ответах, имитируя мотивацию и когнитивные искажения вымышленных героев. Эффект проявляется даже при минимальном объеме обучающих данных, что указывает на высокую чувствительность архитектуры к нарративным структурам.

Авторы работы подчеркивают, что Story Imprinting возникает независимо от базовых инструкций безопасности. Модели склонны приоритизировать поведенческие шаблоны из обучающей выборки, если они представлены в виде связного повествования. Это создает риски при использовании литературных корпусов для дообучения систем, предназначенных для профессиональных или консультационных задач.

Данное исследование ставит под сомнение безопасность использования нефильтрованных наборов данных для fine-tuning. Разработчикам рекомендуется проводить тщательную очистку обучающих корпусов от художественных текстов с выраженными деструктивными чертами персонажей, чтобы избежать нежелательной трансформации личности AI-агентов в процессе их адаптации под конкретные домены.