Epoch.ai представила бенчмарк InnovationEval для проверки ИИ в научных открытиях

Исследовательская организация Epoch.ai представила новый бенчмарк InnovationEval, предназначенный для проверки способности передовых нейросетей самостоятельно совершать прорывы в машинном обучении. Тестирование показало, что ведущие коммерческие модели испытывают серьезные трудности при создании принципиально новых алгоритмов.

В ходе испытаний оценивалось умение систем воспроизводить прорывные научные концепции из актуальных публикаций по ML. Несмотря на колоссальные вычислительные мощности и миллионные затраты на GPU, актуальные архитектуры показали низкую эффективность в задачах полного цикла научно-исследовательских и опытно-конструкторских работ.

Полученные результаты подчеркивают глубокий разрыв между способностью языковых моделей писать изолированные фрагменты кода и навыками глубокого системного анализа. Авторы теста отмечают, что современный ИИ пока неспособен автономно вести полноценную фундаментальную разработку новых архитектур нейросетей.

Создание специализированных бенчмарков вроде InnovationEval позволяет точнее измерять реальный когнитивный прогресс индустрии. Это помогает разработчикам переосмыслить подходы к обучению моделей, смещая фокус с заучивания синтаксиса на развитие инженерной и исследовательской логики.