Исследователи оценили влияние программных обвязок на работу AI-агентов

Исследователи представили проект HarnessTax, в рамках которого проанализировали эффективность 21 пары «модель-обвязка» при решении задач программирования. В ходе работы оценивалось, насколько использование специализированных инструментов (harness) действительно улучшает результаты агентов на бенчмарках SWE-bench Lite и Terminal-Bench 2.0.

Эксперименты показали, что для некоторых современных моделей, включая семейство Claude, наличие сложной внешней обвязки, такой как Claude Code, не всегда дает значимый прирост производительности. Исследователи зафиксировали случаи, когда «чистые» модели демонстрируют сопоставимые или даже лучшие показатели в решении задач, чем при использовании дополнительных программных прослоек.

Для оценки использовались метрики успешности выполнения кода в изолированных средах. Авторы проекта подчеркивают, что «налог на обвязку» (HarnessTax) может быть избыточным, если базовая модель обладает достаточными способностями к планированию и выполнению системных команд. Данные исследования ставят под сомнение необходимость повсеместного внедрения сложных агентурных фреймворков для всех типов задач.

Результаты работы доступны для ознакомления на официальном сайте проекта, где также приведена подробная таблица сравнения производительности различных конфигураций. Обсуждение методологии и выводов исследования активно ведется в сообществе Hacker News, где эксперты анализируют влияние архитектуры агентов на итоговую точность кода.

Полученные данные позволяют разработчикам оптимизировать архитектуру AI-систем, отказываясь от лишних зависимостей в пользу более легких решений. Это исследование является важным шагом к пониманию того, где заканчивается эффективность инструментов и начинается их избыточность в разработке ПО с помощью AI.