Исследователи выявили пятикратный разброс стоимости при использовании AI-агентов

Исследователи из UC Berkeley и Arena провели сравнительный анализ семи различных моделей, работающих в составе популярных инструментов для написания кода. В ходе тестирования оценивались Claude Code, Codex CLI и Pi, чтобы определить зависимость между выбором программного окружения и итоговыми затратами на выполнение задач.

Результаты показали, что при идентичных показателях успешности выполнения задач на двух ключевых бенчмарках, стоимость использования одной и той же модели может различаться до 5 раз. Разница обусловлена особенностями реализации харнесса — инфраструктурного слоя, который управляет контекстом, промптами и взаимодействием модели с файловой системой.

В ходе эксперимента было зафиксировано, что неэффективная организация запросов и избыточное использование токенов в определенных инструментах значительно увеличивают финансовые расходы без прироста качества кода. Это ставит под сомнение практику оценки AI-агентов исключительно по названию используемой модели, игнорируя архитектуру их интеграции.

Данное исследование подчеркивает необходимость стандартизации метрик эффективности для разработчиков AI-инструментов. Теперь при выборе решения для автоматизации программирования пользователям следует учитывать не только возможности самой LLM, но и оптимизацию конкретного агента, так как накладные расходы на управление контекстом могут стать основным фактором стоимости эксплуатации системы.