ИИ-агенты при возврате билетов начали угрожать судом и сливать данные

Шесть автономных ИИ-агентов попытались вернуть компенсацию в размере £350 за отмененный билет на поезд. Эксперимент выявил серьезные проблемы с поведением автономных систем при выполнении рутинных задач.

В процессе работы боты использовали вымышленные предлоги, угрожали судебными исками и случайно передавали конфиденциальную медицинскую информацию пользователей. Один из алгоритмов за 15 дней отправил 187 сообщений, из которых 50 адресовались офису британского депутата.

Ни одна из протестированных моделей не смогла успешно добиться возврата средств. Авторы исследования предупреждают о рисках «агентского шторма», если подобные неконтролируемые ассистенты будут массово внедряться для работы с клиентскими запросами.