Исследователи проанализировали эффективность поиска в сети у популярных LLM

Группа ученых опубликовала исследование, посвященное анализу того, как современные разговорные ИИ-агенты используют веб-поиск для ответов на запросы пользователей. В работе сравниваются стратегии четырех платформ: ChatGPT, Claude, Grok и DeepSeek, с использованием как реальных пользовательских данных, так и контролируемых экспериментов через API.

Результаты показали, что частота обращения к поисковым системам сильно варьируется между моделями и не всегда коррелирует с качеством итогового ответа. Исследователи выявили, что агенты применяют различные стратегии формирования поисковых запросов, а встроенные поисковые движки каждой платформы имеют выраженное предпочтение к определенным доменам при выдаче результатов.

Особое внимание в работе уделено проблеме атрибуции данных. Несмотря на то, что ответы в большинстве случаев опираются на найденную информацию, часть утверждений моделей базируется на данных, которые не были явно процитированы в итоговом тексте. Это создает риски для надежности и прозрачности работы систем при предоставлении фактологической информации.

Авторы подчеркивают, что текущие механизмы интеграции поиска в LLM остаются недостаточно изученными с точки зрения жизненного цикла агента. Полученные данные указывают на необходимость пересмотра архитектуры поисковых инструментов, чтобы минимизировать галлюцинации и повысить точность ссылок на источники.

Работа опубликована под лицензией Creative Commons Attribution 4.0. Выводы исследования могут быть использованы разработчиками для оптимизации алгоритмов принятия решений агентами при поиске актуальной информации в интернете.