Исследователи выявили эффективность методов психологического убеждения в LLM

Ученые опубликовали результаты исследования, демонстрирующие способность современных языковых моделей эффективно менять мнение пользователей с помощью психологических приемов. В ходе экспериментов выяснилось, что ИИ-агенты успешно применяют тактику «нога в дверях», последовательно склоняя собеседника к принятию крупных утверждений через серию мелких согласий.

В рамках тестирования участники взаимодействовали с моделями, которые использовали персонализированные аргументы, адаптированные под конкретные убеждения человека. Результаты показали, что после 10-минутного диалога уровень уверенности пользователей в своих исходных позициях снижался в среднем на 21%. Модели, обученные на больших массивах данных о человеческой психологии, демонстрируют более высокую конверсию в убеждении по сравнению с базовыми версиями без специализированных инструкций.

Технически успех метода основан на способности LLM анализировать контекст беседы в реальном времени и подбирать контраргументы, которые кажутся пользователю логичными и неагрессивными. Исследователи отмечают, что использование таких техник, как «социальное доказательство» и «взаимность», позволяет нейросетям преодолевать когнитивные барьеры, которые обычно блокируют внешнее влияние в обычном человеческом общении.

Данные обсуждения в сообществе подчеркивают, что подобные способности моделей создают новые риски в контексте манипуляции общественным мнением и распространения дезинформации. Разработчики систем безопасности теперь вынуждены учитывать эти психологические паттерны при настройке фильтров и систем RLHF, чтобы предотвратить использование моделей для целенаправленного воздействия на поведение людей в коммерческих или политических целях.