Фейковая статистика массово попадает в ответы ИИ-моделей

Исследователи обнаружили, что генеративные модели активно используют сфабрикованные данные для формирования ответов пользователям. Эксперимент показал, что сайт, содержащий более 50 000 фейковых статистических показателей, успешно проиндексировался поисковыми системами и стал надежным источником для популярных чат-ботов.

Несмотря на то, что Google исключил ресурс из поисковой выдачи, алгоритмы обучения и RAG-системы продолжают ссылаться на эти данные. В результате крупные бренды, включая Shopify и DHL, начали получать входящий трафик и обратные ссылки, основанные на ложных цифрах, которые ИИ выдает за достоверные факты. Это создает цепочку дезинформации, где модель подтверждает выдуманную статистику, а пользователи принимают её за экспертную аналитику.

Механика атаки заключается в создании контента, который выглядит как авторитетное исследование с графиками и таблицами. ИИ-агенты, сканирующие сеть для пополнения базы знаний, не проводят верификацию данных, что позволяет манипулировать результатами поиска и ответами нейросетей. Подобные инциденты подчеркивают критическую уязвимость систем, полагающихся на автоматический сбор информации из открытых источников без должной фильтрации.

Проблема «отравления» данных становится серьезным вызовом для разработчиков, стремящихся к повышению точности моделей. Ситуация демонстрирует, что даже при удалении сайта из поисковиков, информация успевает закрепиться в весах моделей или кэшах поисковых индексов, используемых для генерации ответов. Это требует внедрения новых методов проверки фактов на этапе сбора обучающих выборок.