Исследование показало распределение вычислений в шахматных трансформерах

Исследователи изучили внутренние механизмы нейросетей при изменении игрового рейтинга. В опубликованной на LessWrong работе показано, как рост рейтинга шахматной модели влияет на ее слои.

В ходе экспериментов виртуальный рейтинг модели плавно увеличивался с **700** до **2500 Elo**. Анализ внутренних состояний продемонстрировал, что усложнение задач монотонно смещает вычисления вглубь архитектуры трансформера.

Для реализации сложных тактических приемов, включая классические «вилки» конем, модель начинает активно задействовать поздние слои внимания. При этом нагрузка на ранние слои сети остается практически неизменной на всех уровнях квалификации.

Полученные данные дают новое понимание того, как масштабирование производительности и обучение влияют на внутреннее распределение вычислительных ресурсов в глубоких нейронных сетях.