Mercor оценила покрытие реальных профессий ИИ-бенчмарками

Аналитическая платформа Mercor опубликовала исследование рынка труда, согласно которому 90% рабочего времени в США уходит на задачи, которые плохо покрываются существующими ИИ-бенчмарками.

В ходе работы специалисты проанализировали 923 американские профессии и выяснили, что лишь для 208 из них существуют тесты, охватывающие хотя бы 5 ключевых задач. Остальной объем рынка труда фактически остается «слепой зоной» для современных методик оценки генеративных моделей.

Авторы исследования отмечают, что текущие бенчмарки сфокусированы на узком круге академических и лабораторных сценариев, которые слабо коррелируют с реальной повседневной деятельностью большинства специалистов. Это создает ложное представление о реальном уровне автоматизации профессий.

Полученные данные ставят под сомнение объективность существующих отчетов о возможностях нейросетей в реальном секторе экономики. Новая карта покрытия призвана помочь разработчикам создавать более релевантные тесты для оценки применимости моделей в бизнесе.