Исследователи представили метод Continual Search для диагностики ошибок AI-агентов

Исследователи опубликовали научную работу, описывающую Continual Search — итеративный фреймворк для автоматического поиска причин сбоев в работе AI-агентов. Метод решает проблему неэффективности LLM при анализе длинных логов выполнения, где критически важные данные часто распределены по всей траектории действий.

В отличие от стандартных подходов, использующих однократный анализ, Continual Search принудительно направляет модель на последовательный поиск доказательств ошибки. Для оценки эффективности авторы разработали бенчмарк MegaRCA-Mix, включающий 50 сложных сценариев с ручной разметкой, имитирующих реальные задачи с высокой интенсивностью выполнения операций.

Результаты тестирования показали значительный прирост точности атрибуции причин сбоев. При использовании модели GPT-5.5 показатель F1-score вырос с 0.349 до 0.498, что соответствует улучшению более чем на 40%. Исследование также подтвердило, что качественная стратегия поиска позволяет менее мощным моделям превосходить более крупные аналоги.

Разработка направлена на повышение надежности автономных систем, работающих в долгосрочных циклах. Использование итеративного подхода позволяет избежать преждевременных выводов, к которым склонны LLM при обработке больших объемов данных. Работа опубликована под лицензией CC BY 4.0.