Исследователи выявили четырехэтапный процесс решения математических задач в LLM

Группа ученых опубликовала исследование, описывающее внутреннюю архитектуру логического вывода больших языковых моделей при решении математических задач. Авторы установили, что процесс обработки данных в нейросетях проходит через четыре последовательных этапа: абстракцию схемы, планирование операций, привязку операндов и финальное вычисление.

Каждый из этих этапов соответствует работе определенных слоев модели, формирующих уникальные промежуточные представления. Исследователи обнаружили, что высокая точность моделей в стандартных тестах резко снижается при добавлении в условие задачи даже одного нерелевантного предложения. Этот феномен «хрупкости» был локализован на этапе планирования операций.

Анализ показал, что за сбои отвечают конкретные attention-головки, чья роль в процессе была подтверждена двунаправленным причинно-следственным тестированием. При подаче отвлекающих данных именно этот блок перестает корректно обрабатывать логическую структуру задачи, что приводит к ошибкам в итоговом ответе, несмотря на общую способность модели к вычислениям.

Данная работа предоставляет механистическую интерпретацию того, как именно LLM «рассуждают» при работе с числами. Понимание локализации ошибок на уровне конкретных слоев и весов позволяет разработчикам точечно корректировать архитектуру моделей для повышения их устойчивости к шуму в промптах. Исследование опубликовано под лицензией Creative Commons Attribution 4.0.