Исследователи оценили влияние истории диалога на выдачу брендов в LLM

Исследователи провели серию из 45 прогонов в ChatGPT, Perplexity и Алисе AI, чтобы определить зависимость AI Visibility от контекста беседы. Эксперимент показал, что один и тот же финальный запрос, заданный после разной истории диалога, приводит к существенным различиям в наборах упоминаемых брендов.

В ходе тестирования анализировалось, как именно предыдущие реплики пользователя и модели влияют на итоговую выборку компаний в ответах. Результаты подтверждают, что независимые промпты, используемые для оценки AI Visibility, не дают полной картины поведения моделей в реальных сценариях общения. Разброс в выдаче брендов при идентичном конечном вопросе достигает значительных показателей, что ставит под сомнение точность текущих методик замера влияния AI на потребительский выбор.

Данные исследования подчеркивают необходимость пересмотра подходов к тестированию моделей, ориентированных на поиск информации и рекомендаций. Вместо оценки изолированных запросов авторы предлагают учитывать динамику контекстного окна, так как именно история взаимодействия определяет приоритетность выдаваемых сущностей. Это критически важно для компаний, использующих AI-инструменты для маркетинговых исследований и анализа рыночной видимости брендов.

Полученные результаты указывают на то, что алгоритмы ранжирования в современных чат-ботах крайне чувствительны к семантическому окружению. Стабильность ответов снижается при усложнении диалоговой структуры, что требует внедрения новых стандартов верификации для систем, работающих с рекомендательным контентом.