Исследователи представили архитектуру QueryFormer для прогнозирования конверсии

Команда разработчиков представила QueryFormer — архитектуру для прогнозирования вероятности конверсии после клика (pCVR), которая заняла первое место в индустриальном треке соревнования KDD Cup 2026 Tencent UniRec Challenge.

В основе решения лежит унифицированный блок, объединяющий несеквентальные признаки с поведенческими последовательностями пользователей. В отличие от традиционных подходов, использующих проекционные многослойные перцептроны, модель применяет механизм кросс-внимания для уточнения запросов. Это позволило достичь официального показателя AUC 0.83254 на тестовой выборке, а после дополнительного масштабирования результат вырос до 0.832713.

Авторы провели исследование масштабируемости модели по ширине и глубине слоев. Использование упакованного кросс-внимания с общими параметрами обеспечивает высокую эффективность: при увеличении ширины H с 1 до 8 задержка инференса возрастает лишь в 1.89 раза. В ходе абляционного анализа было подтверждено, что именно генерация запросов через механизм внимания вносит наибольший вклад в итоговую точность системы.

Архитектура превосходит модель HyFormer при сопоставимых вычислительных бюджетах. Исследование опубликовано под лицензией Creative Commons Attribution 4.0, что позволяет использовать предложенные методы в промышленных рекомендательных системах для обработки сложных пользовательских данных.