Исследователи представили бенчмарк GraphEcho для оценки работы AI-агентов

Исследователи опубликовали GraphEcho — специализированный бенчмарк, предназначенный для проверки того, как AI-агенты обрабатывают информацию при поиске по графам. Инструмент выявляет склонность моделей принимать повторные обращения к одним и тем же источникам за новые доказательства.

В ходе тестирования выяснилось, что при увеличении количества путей в графе агенты чаще совершают избыточные переходы, ошибочно интерпретируя их как подтверждение фактов. Разработчики применили метод Provenance-aware post-training (PAPT), который позволил сократить количество повторных посещений узлов графа. Однако тесты показали, что оптимизация приводит к снижению охвата уникальных источников информации.

При работе с научными данными использование PAPT действительно уменьшает количество повторов, но одновременно снижает общую точность ответов модели. Это демонстрирует фундаментальный разрыв между эффективностью исследования графа и качеством использования найденных доказательств. Агент может научиться избегать дублирования действий, но при этом пропускать критически важные данные.

Бенчмарк GraphEcho предоставляет контролируемую среду для оценки того, как именно агенты приходят к выводам. Исследование подчеркивает необходимость баланса между поисковой активностью и способностью модели различать уникальные источники доказательств в сложных информационных структурах.