Исследователи представили бенчмарк Blindspot для оценки безопасности AI-агентов

Исследователи опубликовали Blindspot — специализированный бенчмарк для проверки безопасности и калибровки отказов у AI-агентов, работающих с инструментами в долгосрочных сессиях. В отличие от стандартных тестов, оценивающих результат одного запроса, система анализирует поведение модели на протяжении всей траектории взаимодействия с внешней средой.

Текущая версия Blindspot включает 22 семейства атак и 35 сценариев, охватывающих семь различных доменов. В ходе тестирования было сгенерировано более 2500 траекторий, средняя длина которых составляет 14,7 шага. Каждое действие агента классифицируется по пяти категориям: безопасное завершение, корректный отказ, небезопасное завершение, избыточный отказ или неопределенный результат.

Авторы протестировали 13 проприетарных и открытых LLM, используя восемь метрик, включая устойчивость к повторным запускам и частоту сбоев после отказа. Результаты показали, что многие модели демонстрируют критические уязвимости, которые проявляются только после нескольких изначально безопасных шагов, что делает невозможной оценку безопасности по бинарному принципу «успех/провал».

Фреймворк является расширяемым: разработчики могут добавлять новые инструменты, политики и домены без переработки архитектуры тестирования. Исследование подчеркивает необходимость перехода к оценке безопасности на уровне всей траектории, так как долгосрочные агенты с доступом к API подвержены накопленным ошибкам, которые невозможно выявить в рамках коротких диалоговых тестов.