Allen Institute представил BenchMIRT для анализа качества бенчмарков

Исследователи из Allen Institute for AI представили методологию BenchMIRT, предназначенную для оценки того, что именно измеряют современные бенчмарки больших языковых моделей. Авторы проанализировали структуру популярных тестов и выявили критические зависимости между форматом заданий и итоговыми показателями производительности.

В ходе исследования эксперты применили статистический анализ к 15 популярным бенчмаркам, включая MMLU и GSM8K. Выяснилось, что до 40% вариативности результатов моделей объясняется не их способностями к рассуждению, а особенностями форматирования ответов и чувствительностью к шаблонам промптов. Инструментарий позволяет количественно оценить «загрязнение» данных и влияние случайных факторов на итоговый балл.

Разработчики BenchMIRT предлагают использовать новый подход для декомпозиции метрик. Вместо оценки общего балла система разделяет показатели на способность к извлечению знаний, логический вывод и устойчивость к изменению формулировок. Это позволяет выявить случаи, когда модель просто «зазубрила» ответы из обучающей выборки, а не научилась решать задачи.

Результаты работы показывают, что текущие методы оценки часто переоценивают возможности моделей на 15–25% в задачах на логику. Исследователи подчеркивают необходимость перехода от статических наборов вопросов к динамическим тестам, которые меняют условия задачи в реальном времени, исключая возможность простого сопоставления с базой данных.

Данный подход меняет стандарты верификации AI-систем, делая акцент на прозрачности процесса оценки. Использование предложенной методологии позволит разработчикам точнее определять реальный прогресс моделей, отделяя маркетинговые показатели от фактической способности систем к обобщению знаний и выполнению сложных инструкций.