Водяные знаки SynthID снижают устойчивость моделей к вредоносным запросам

Исследователи Lasso Security обнаружили, что внедрение механизмов маркировки текста, таких как SynthID, делает языковые модели более уязвимыми к обходу фильтров безопасности. В ходе тестов выяснилось, что модели, использующие водяные знаки, чаще соглашаются выполнять вредоносные инструкции, которые в обычных условиях блокируются встроенными системами защиты.

Анализ показал, что алгоритмы вставки меток изменяют распределение вероятностей токенов, что непреднамеренно ослабляет механизмы «отказа» (refusal). В экспериментах с различными архитектурами LLM исследователи зафиксировали статистически значимое снижение эффективности систем безопасности при активации водяных знаков. В некоторых сценариях вероятность успешного обхода ограничений возрастала на 15-20% по сравнению с базовыми версиями моделей без маркировки.

Технология водяных знаков, активно внедряемая для идентификации AI-контента, требует внесения статистических искажений в выходные данные. Эти искажения, по мнению экспертов, создают «шум», который злоумышленники могут использовать для маскировки вредоносных промптов. В результате модель воспринимает атакующий запрос как допустимый, так как статистическая структура ответа оказывается смещена в сторону генерации, а не блокировки.

Данное исследование подчеркивает конфликт между требованиями регуляторов к прозрачности AI и необходимостью обеспечения безопасности моделей. Разработчикам предстоит найти баланс, при котором методы идентификации контента не будут снижать общую устойчивость систем к атакам типа «jailbreak» и другим формам манипуляции поведением нейросетей.