Галлюцинация AI едва не спровоцировала военную операцию США

Использование генеративных языковых моделей в системах поддержки принятия решений привело к критическому инциденту в оборонном секторе США. Алгоритм, обрабатывавший разведывательные данные, выдал ложную интерпретацию ситуации, что едва не стало поводом для начала реальной военной операции.

Согласно отчету, инцидент произошел из-за ошибки в логике обработки данных, которую эксперты классифицировали как «галлюцинацию» модели. Система ошибочно идентифицировала гражданские объекты как враждебные цели, основываясь на неверной корреляции между разрозненными источниками информации. В результате автоматизированный протокол передал операторам сигнал о необходимости немедленного реагирования.

Специалисты GovAI подчеркивают, что проблема заключается в фундаментальной непредсказуемости LLM при работе с высокорисковыми данными. В ходе анализа выяснилось, что модель проигнорировала 94% подтверждающих отсутствие угрозы фактов, сфокусировавшись на статистических аномалиях, которые не имели отношения к реальности. Ошибка была выявлена персоналом за несколько минут до активации боевых систем.

Инцидент вызвал пересмотр протоколов безопасности в Пентагоне. Теперь любые решения, принимаемые с помощью AI, требуют обязательной верификации человеком-оператором с использованием независимых систем контроля. Разработчики планируют внедрить дополнительные слои фильтрации, которые будут блокировать ответы модели при обнаружении высокой степени «неуверенности» в сгенерированных выводах.

Данный случай демонстрирует риски внедрения LLM в критическую инфраструктуру без должной формальной верификации. В ближайшее время военные ведомства намерены ограничить использование «черных ящиков» в пользу более прозрачных и интерпретируемых архитектур, способных предоставлять обоснование для каждого вывода.