Исследователи выявили асимметрию обучения композиционному мышлению в LLM

Группа исследователей представила новую работу, посвященную изучению композиционного мышления в языковых моделях при использовании обучения с подкреплением (RL). Авторы проанализировали, как модели объединяют изученные навыки для решения сложных задач, и обнаружили фундаментальную асимметрию в процессе обучения.

В рамках исследования был предложен фреймворк на основе графов зависимостей, который формализует композиционное мышление на трех уровнях сложности. Эксперименты проводились на задачах со структурами данных, обеспечивающих детерминированное вычисление наград. Ученые установили, что обучение на декомпозированных навыках не гарантирует успешного выполнения составных задач, в то время как обучение на сложных составных задачах позволяет модели эффективнее справляться с простыми компонентами.

Этот эффект, названный «асимметрией от декомпозированного к составному», был подтвержден в условиях экстраполяции по длине, структурных сдвигов распределения и переноса навыков на ранее не встречавшиеся задачи. Авторы также провели пилотное исследование на бенчмарках для вызова внешних инструментов, подтвердив, что выявленная закономерность сохраняется в практических сценариях применения ИИ.

Результаты работы подчеркивают ограничения текущих методов пост-обучения, которые часто фокусируются на отдельных навыках. Понимание этой асимметрии позволяет разработчикам корректировать стратегии обучения, чтобы улучшить способность моделей к обобщению и решению многоэтапных задач, требующих логической связности. Исследование опубликовано под лицензией Non-exclusive distribution.