Исследователи проанализировали эволюцию бенчмарков для оценки LLM

Группа ученых опубликовала масштабное исследование, посвященное трансформации подходов к тестированию больших языковых моделей. Авторы проанализировали 14 767 научных работ, опубликованных на платформе arXiv в период с января 2022 года по август 2026 года, чтобы выявить, как меняются требования к оценке производительности AI.

Анализ показал устойчивый сдвиг в сторону задач, связанных с активным взаимодействием и выполнением профессиональных функций. Исследователи отмечают, что использование LLM в качестве инструментов для автоматической оценки результатов становится стандартом как для агентных, так и для неагентных систем. При этом применение моделей для генерации самих тестовых материалов не демонстрирует аналогичного стабильного роста в последних когортах исследований.

В работе систематизированы изменения в целевых доменах, условиях тестирования и механизмах подсчета баллов. Авторы подчеркивают, что современные бенчмарки все чаще включают элементы, требующие от моделей выполнения сложных последовательных действий, а не просто ответов на вопросы. Это отражает переход индустрии от оценки статических знаний к проверке способности моделей функционировать в реальных рабочих средах.

Результаты исследования ставят под сомнение объективность текущих методов оценки. Ученые предупреждают, что активное участие нейросетей в создании и проверке тестов может привести к «зацикливанию», когда бенчмарки начинают воспроизводить предпочтения и слепые зоны самих моделей, участвующих в их разработке. Работа распространяется по лицензии arXiv и предоставляет базу для пересмотра стандартов валидации AI-систем.