Исследователи представили бенчмарк Brood War для оценки AI в StarCraft

Разработчики опубликовали Brood War Bench — специализированный набор тестов для оценки навыков языковых моделей в управлении игровыми юнитами в стратегии StarCraft: Brood War. В ходе тестирования проверялась способность агентов принимать тактические решения и координировать действия армии в реальном времени.

Победителем испытаний стала модель Codex Astra, которая продемонстрировала 100% винрейт в рамках заданных сценариев. Общий результат бенчмарка составил 49 баллов, на выполнение которых потребовалось 6 часов машинного времени. Тестирование показало, что текущие модели все еще испытывают серьезные трудности с микроконтролем и стратегическим планированием.

Результаты показали, что большинство участников работают на уровне начинающих игроков. Например, модель Grok не смогла реализовать базовую механику развертывания армии, а Claude Fable, несмотря на заявленные амбиции в управлении, столкнулась с критическими ошибками при выполнении команд. Подробный разбор производительности каждой модели доступен в обсуждении на Hacker News.

Создание подобных сред необходимо для оценки когнитивных способностей моделей в динамических условиях, где требуется не только генерация текста, но и последовательное выполнение действий. В отличие от статических тестов, Brood War Bench требует от AI учета постоянно меняющейся игровой ситуации и управления ресурсами в условиях жесткого лимита времени.