Исследователи оценили точность моделей в решении задач по физике

Исследовательская группа опубликовала результаты тестирования передовых AI-моделей, включая GPT-5.6-Sol, на специализированных физических бенчмарках. Анализ показал, что реальные способности систем значительно выше показателей, зафиксированных в официальных отчетах.

В ходе работы эксперты выявили системные ошибки в формулировках вопросов и эталонных решениях набора данных CritPt. После корректировки тестовых заданий показатель pass@4 для протестированных моделей достиг 94,4%. Ранее заниженные результаты были обусловлены некорректными условиями задач, которые препятствовали правильной интерпретации физических законов нейросетями.

Авторы исследования подчеркивают, что текущие методы оценки «фронтирных» моделей часто не учитывают качество самих бенчмарков. Исправление методологии тестирования позволяет более точно измерить способность моделей к логическому выводу в узкоспециализированных научных дисциплинах, таких как теоретическая физика.

Результаты работы доступны в препринте на arXiv. Обсуждение методологии оценки и выявленных ошибок в наборах данных ведется на платформе Hacker News. Полученные данные указывают на необходимость пересмотра стандартов тестирования для моделей, претендующих на решение задач экспертного уровня.