Исследователи представили метод Inoculation Midtraining для контроля моделей

Исследователи предложили технику Inoculation Midtraining, предназначенную для ограничения нежелательного поведения нейросетей. Метод базируется на внедрении в процесс обучения специального неологизма-токена, который привязывает потенциально опасные или некорректные ответы к строго определенному контексту.

В ходе экспериментов авторы зафиксировали, что использование неологизма позволяет снизить уровень дезориентации модели, сохраняя при этом её базовые характеристики, такие как стиль речи и общие когнитивные способности. Техника направлена на локализацию «неправильного» поведения внутри модели, предотвращая его распространение на другие сценарии взаимодействия с пользователем.

Результаты тестирования показали, что текущая реализация метода уступает по эффективности стандартному подходу Inoculation Prompting. Исследователи отмечают высокую чувствительность алгоритма к гиперпараметрам, что требует дополнительной настройки для достижения стабильных показателей безопасности в различных архитектурах.

Данный подход представляет собой попытку решить проблему «выравнивания» (alignment) моделей на этапе их дообучения. В отличие от внешних фильтров, метод пытается интегрировать механизмы контроля непосредственно в веса модели, используя лингвистические маркеры для управления активацией определенных паттернов поведения.