Исследователи оценили эффективность методов удаления знаний из моделей Qwen

Исследователи провели эмпирическую оценку методов «забывания» (unlearning) и «прививки» (inoculation) на базе модели Qwen2.5-1.5-Instruct. В ходе работы изучалось, как различные подходы влияют на способность нейросети подавлять нежелательные паттерны поведения при сохранении полезных навыков.

В качестве тестовых сред использовались специализированные наборы данных FR-Caps и Hedge-Verse. Эксперименты показали, что современные методы обучения, такие как адаптеры, soft prompts и префиксы, демонстрируют выраженный компромисс между удалением нежелательных черт и сохранением общей функциональности модели. При этом использование простых текстовых инструкций (hand-written prompts) оказалось значительно менее эффективным для контроля поведения системы.

Результаты работы подчеркивают сложность управления весами модели без деградации её базовых характеристик. Использование векторов задач (task vectors) позволяет точечно воздействовать на конкретные области знаний, однако требует тщательной калибровки параметров для избежания «катастрофического забывания» полезной информации.

Данное исследование дает количественную оценку безопасности LLM в условиях необходимости удаления специфических данных из весов. Полученные данные помогают разработчикам выбирать оптимальные стратегии для настройки моделей, требующих строгого соблюдения ограничений безопасности без необходимости полного переобучения на новых датасетах.