Исследователи оценили эффективность архитектурных решений для AI-агентов

Группа исследователей опубликовала работу An Empirical Study of Harness Design for Coding Agents, в которой проанализировала влияние различных компонентов инфраструктуры на производительность систем автоматического программирования. Авторы изучили, как методы управления контекстом и стратегии планирования влияют на итоговое качество кода.

В ходе эксперимента выяснилось, что при работе с ограниченным окном контекста наиболее эффективным подходом является использование правил элизии (удаления нерелевантных данных) перед применением суммаризации на базе LLM. Такой метод позволяет сохранить критически важные фрагменты кода, минимизируя потерю информации при сжатии данных для модели.

Исследование также показало, что роль планирования меняется в зависимости от мощности используемой нейросети. Для менее производительных моделей планирование выступает инструментом повышения точности, тогда как для сильных моделей оно становится средством оптимизации затрат, позволяя сократить количество избыточных вызовов API без потери качества результата.

Анализ подтвердил, что архитектура «обвязки» (harness) агента определяет его способность к решению сложных задач разработки. Использование жестких правил фильтрации данных перед подачей в модель позволяет снизить уровень «галлюцинаций» и повысить процент успешного прохождения тестов в задачах генерации кода.

Результаты работы доступны в репозитории arXiv. Полученные данные позволяют разработчикам AI-агентов точнее настраивать пайплайны обработки данных, переходя от универсальных подходов к специализированным стратегиям управления контекстом в зависимости от вычислительных ресурсов и сложности поставленных задач.