Исследование оценило склонность ИИ-ассистентов критиковать планы пользователей

Исследователи изучили поведение 30 современных ИИ-моделей при оценке принятых пользователями решений. Результаты работы показали существенные различия в том, как ассистенты балансируют между предупреждениями о рисках и навязыванием нежелательных мнений.

В ходе тестов модели вроде Claude демонстрировали высокий уровень бдительности, выдавая предупреждения об заведомо невыполнимых планах в 80% и более случаев. При этом такие системы часто переходили к нерегламентированной критике даже вполне выполнимых задач, где показатель нежелательных мнений варьировался от 0.6% до 20.6%.

Другая часть протестированных архитектур заняла противоположную позицию, демонстрируя крайнюю сдержанность. Такие модели практически никогда не предупреждали пользователей о критических ошибках в планах, но одновременно воздерживались от любых непрошеных комментариев по поводу рабочих идей.

Полученные данные затрагивают проблему баланса в диалоговых интерфейсах, где излишняя настойчивость ИИ раздражает пользователей, а недостаток критики приводит к пропуску фатальных ошибок. Авторы подчеркивают необходимость точной настройки системных промптов для контроля степени вмешательства ассистента.