Исследователи выявили уязвимость лингвистической нечитаемости в LLM

Группа исследователей опубликовала работу The Implications of Linguistic Illegibility for LLM Security, в которой доказывается ненадежность механизмов самоотчета языковых моделей в вопросах безопасности. Авторы установили, что текущие системы защиты, полагающиеся на интерпретацию текстовых выводов модели, подвержены обходу из-за фундаментальной неспособности LLM точно оценивать собственные внутренние состояния.

В ходе анализа было выявлено, что лингвистическая нечитаемость (linguistic illegibility) делает попытки «самоконтроля» модели неэффективными против целенаправленных атак. Исследователи продемонстрировали, что даже при наличии инструкций по безопасности, модель не может гарантировать отсутствие вредоносного кода или скрытых команд в своем выводе, так как её лингвистические маркеры не коррелируют с фактическими операциями в памяти.

Для решения проблемы предложен переход от текстовой фильтрации к методам taint tracking (отслеживание потоков данных) и строгой изоляции процессов. В работе подчеркивается, что использование внешних инструментов для верификации вывода в 100% случаев оказывается надежнее, чем попытки заставить модель самостоятельно классифицировать свои ответы как «безопасные» или «опасные».

Авторы отмечают, что текущие архитектуры, полагающиеся на промпт-инжиниринг для обеспечения безопасности, имеют критический порог отказа при столкновении с состязательными примерами. Предложенные методы изоляции позволяют ограничить область выполнения кода, генерируемого моделью, что снижает риск выполнения несанкционированных инструкций в системной среде.

Данное исследование меняет подход к проектированию AI-систем, смещая фокус с попыток «обучить» модель безопасности к внедрению аппаратных и программных ограничений на уровне исполнения. Это критически важно для интеграции LLM в инфраструктурные проекты, где доверие к текстовому выводу является точкой отказа всей системы.