Koda представила результаты тестирования кодинг-агентов на модели DeepSeek V4 Flash

Разработчики Koda провели сравнительное тестирование производительности популярных инструментов для автоматизации программирования. В ходе эксперимента модель DeepSeek V4 Flash была запущена в четырех различных средах исполнения для оценки эффективности решения прикладных задач.

Результаты замеров показали, что фирменный харнесс Koda продемонстрировал точность выполнения задач на уровне 52,2%. Этот показатель позволил инструменту опередить альтернативные решения, включая Kilocode, Claude Code и OpenCode, которые показали более низкие результаты в аналогичных условиях тестирования.

В рамках исследования авторы проанализировали, как архитектурные особенности среды исполнения влияют на итоговую производительность LLM. Основное внимание было уделено тому, как именно агент взаимодействует с файловой системой и контекстом проекта, что напрямую коррелирует с успешностью завершения поставленных задач по написанию и отладке кода.

Разница в итоговых баллах между протестированными инструментами обусловлена методами обработки запросов и управления последовательностью действий агента. Использование специализированных харнессов позволяет модели более эффективно использовать свои вычислительные ресурсы, минимизируя количество избыточных операций при работе с кодовой базой.

Данное исследование подчеркивает важность выбора инфраструктурного окружения для развертывания кодинг-агентов. Оптимизация взаимодействия между моделью и средой исполнения становится ключевым фактором для повышения качества автоматизированной разработки в реальных проектах.