Представлен бенчмарк TasteVal для оценки исследовательских навыков ИИ

Исследователи представили TasteVal — новый бенчмарк, предназначенный для оценки способности нейросетей принимать решения в ходе экспериментальных научных исследований. Тест измеряет так называемый «исследовательский вкус» (research taste), определяя, насколько эффективно модель может выбирать перспективные направления для работы, избегая тупиковых путей.

Согласно результатам тестирования, современные системы, включая модель Opus 5.5, уже превосходят экспертов-людей в задачах планирования экспериментов. ИИ демонстрирует 2.3-кратное преимущество в вычислительной эффективности при выборе методологии исследования. Эти показатели позволяют предположить, что сроки достижения уровня суперинтеллекта могут сократиться, сдвигая прогнозные даты к концу 2028 года.

Методология TasteVal фокусируется на способности моделей к анализу гипотез и оптимизации ресурсов в условиях неопределенности. В отличие от стандартных тестов на знание фактов, этот бенчмарк оценивает именно стратегическое мышление, необходимое для совершения научных открытий. Высокие баллы в этом тесте коррелируют с реальной способностью ИИ-агентов находить новые материалы и оптимизировать сложные процессы.

Внедрение подобных инструментов оценки позволяет точнее прогнозировать темпы развития автономных научных систем. По мере того как нейросети начинают самостоятельно определять вектор исследований, способность объективно измерять их «интуицию» становится критически важной для контроля безопасности и темпов прогресса в области AGI.