Исследование показало особенности выбора решений языковыми моделями

Исследователи протестировали семейство моделей Qwen 2.5 на классическом парадоксе Бертрана из теории вероятностей. Эксперимент показал, как именно современные нейросети подходят к задачам с несколькими математически верными вариантами ответа.

В ходе анализа выяснилось, что алгоритмы полностью игнорируют внутреннюю неоднозначность задачи. Вместо вероятностного рассуждения модели демонстрируют устойчивое предпочтение варианта 1/3, который выбирается исключительно за счет механизма памяти и частого упоминания в обучающей выборке.

Важным открытием стало то, в какой момент генерируется логика выбора. Нейросети начинают явно сигнализировать о выбранном методе решения всего за 5–10 токенов до выдачи финального результата, а не на этапе начального планирования рассуждений.

Полученные данные раскрывают скрытые особенности работы токенизаторов и внутренних механизмов авторегрессионных моделей при столкновениях с неоднозначными логическими условиями.