Новый бенчмарк Taste-Bench выявил слабые стратегические решения ИИ-агентов

Исследователи представили новый бенчмарк Taste-Bench, предназначенный для оценки способности автономных систем делать стратегические выборы в ходе выполнения длительных задач.

В ходе тестирования выяснилось, что даже наиболее производительная языковая модель GPT-5.6 Sol выбирает оптимальный путь менее чем в 60% случаев на простых бинарных вопросах. Авторы исследования отмечают, что увеличение времени на размышления и рассуждения не приводит к улучшению результатов.

Создание специализированных бенчмарков помогает выявить фундаментальные ограничения современных архитектур в сценариях, требующих долгосрочного планирования. Полученные данные демонстрируют разрыв между способностью моделей решать локальные задачи и предвидеть последствия многошаговых стратегий.