Исследователи представили бенчмарк HTB для борьбы с галлюцинациями AI-агентов

Исследователи опубликовали работу Closed-World Resolution Against Tool Hallucination in LLM Agents, в которой проанализировали проблему вызова несуществующих инструментов нейросетевыми агентами. Авторы доказали, что текущие методы фильтрации не способны предотвратить генерацию вызовов, которые не соответствуют ни одной схеме в реестре.

В ходе исследования была разработана классификация галлюцинаций из пяти категорий (H1-H5). Тестирование десяти моделей показало, что увеличение количества параметров не снижает частоту ошибок: модели с 675 млрд параметров демонстрируют те же показатели, что и компактные решения на 7-8 млрд. Всего было зафиксировано 322 случая генерации несуществующих функций, причем при использовании неструктурированного JSON-формата количество ошибок возрастает в 11 раз.

Отдельное внимание уделено протоколу Model Context Protocol. При объединении нескольких серверов в единое пространство имен возникают коллизии, приводящие к 154 новым случаям галлюцинаций даже у передовых моделей, которые ранее успешно проходили проверку в изолированных средах.

Для стандартизации оценки разработчики представили Hallucinated-Tools Benchmark (HTB). Этот набор данных позволяет проверять способность агентов сопоставлять вызовы с реальными реестрами инструментов. Внедрение подобных систем верификации необходимо для предотвращения выполнения невалидных команд, которые обходят стандартные механизмы безопасности и фильтрации запросов.