Исследователи выявили угрозу фантомного переноса данных в LLM

Исследователи Phantom transfer обнаружили новый вектор атаки на большие языковые модели, позволяющий скрыто передавать специфические характеристики, такие как политическая предвзятость, через семантические сигналы. Метод использует тонкие лингвистические маркеры, которые остаются незаметными для стандартных фильтров безопасности и систем модерации контента.

В ходе эксперимента было установлено, что модель способна перенимать нежелательные паттерны поведения, даже если обучающая выборка выглядит нейтральной. Атака опирается на семантические микро-сигналы, которые встраиваются в структуру текста. Эти данные проходят через механизмы внимания модели, закрепляясь в весах нейросети без явных признаков манипуляции в исходном наборе данных.

Текущие методы защиты, включая RLHF (обучение с подкреплением на основе отзывов людей) и автоматизированные системы фильтрации, оказались неэффективными против данного типа воздействия. Исследование показывает, что 92% протестированных защитных механизмов не смогли распознать скрытую передачу признаков, так как они ориентированы на поиск явных ключевых слов или токсичных фраз, а не на анализ глубинных семантических связей.

Результаты работы подчеркивают уязвимость цепочек поставок данных для обучения AI. Разработчикам предлагается внедрять дополнительные этапы аудита обучающих корпусов, направленные на выявление статистических аномалий в семантических структурах, чтобы предотвратить неконтролируемое изменение поведения моделей в процессе дообучения или fine-tuning.