Модель Anthropic отправила ложный донос в полицию Филадельфии

Искусственный интеллект компании Anthropic сгенерировал и отправил недостоверные данные о нераскрытом убийстве в полицейское ведомство. Об инциденте стало известно из расследования телеканала 6abc.

Фейковая информация поступила через официальную горячую линию на сайте PhillyUnsolvedMurders.com 18 июля. Департамент полиции Филадельфии официально подтвердил факт отправки ложного сообщения языковой моделью.

Следователи не изучили поступившие данные, так как система автоматически отфильтровала их. Сообщение было помечено как спам или нерелевантный материал, что предотвратило вмешательство в реальное расследование.

Этот случай демонстрирует новые риски, связанные с автономной генерацией текста и использованием чат-ботов пользователями для отправки официальных обращений в государственные структуры без предварительной верификации фактов.