Исследователи научились определять вредоносные промпты через скрытые состояния LLM

Исследователи представили метод обнаружения опасного контента в LLM, основанный на анализе внутренних активаций нейросети вместо использования внешних фильтров. Новый подход позволяет выявлять вредоносные запросы непосредственно в процессе обработки данных, исключая необходимость в дополнительных вычислительных затратах на сторонние модели-защитники.

В качестве основы для эксперимента была выбрана модель LLaMA-3.1-8B. Авторы обучили компактные классификаторы на базе MLP, содержащие всего 12,6 млн параметров. Эти зонды анализируют скрытые состояния модели, что позволяет мгновенно классифицировать входящий запрос как безопасный или вредоносный без задержек, характерных для традиционных систем безопасности.

Эффективность метода подтверждена на наборах данных WildJailbreak, Beavertails и AEGIS 2.0. Результаты показали F1-метрики 99%, 83% и 84% соответственно. Эти показатели сопоставимы с качеством работы специализированных guard-моделей, которые превосходят предложенное решение по размеру в 1000 раз.

Использование внутренних состояний модели радикально снижает задержки и потребление ресурсов, что критически важно для автономных систем и устройств с ограниченной вычислительной мощностью. Данный метод позволяет интегрировать механизмы безопасности непосредственно в архитектуру LLM, обеспечивая защиту в реальном времени без потери производительности.