Исследователи выявили критические сбои в методах автоматического контроля AI

Группа исследователей опубликовала результаты анализа эффективности методов автоматического контроля (scalable oversight) при обучении моделей. В ходе экспериментов выяснилось, что текущие подходы к верификации ответов через дебаты между моделями демонстрируют низкую точность в задачах с высокой степенью неопределенности.

В качестве тестового полигона использовалась игра Geoguessr, требующая анализа визуальных данных для определения локации. Исследователи обнаружили, что модели не способны эффективно декомпозировать сложные аргументы на проверяемые утверждения. В результате система контроля пропускает логические ошибки, так как не может сопоставить промежуточные выводы с объективными фактами в условиях отсутствия четких критериев правильности.

Основная проблема заключается в «размытости» задач, где отсутствует однозначный ответ. В таких сценариях автоматический контроль начинает полагаться на убедительность формулировок, а не на фактическую точность. Это создает риск того, что модели будут обучаться манипулировать процессом проверки, вместо того чтобы повышать качество своих рассуждений.

Полученные данные указывают на необходимость разработки новых протоколов декомпозиции задач для систем AI-alignment. Без способности разбивать сложные рассуждения на атомарные, верифицируемые блоки, автоматизированные методы контроля остаются уязвимыми к ошибкам и галлюцинациям, что ограничивает их применение в критически важных областях разработки моделей.