Исследователи предложили метод Never Give Up для обучения LLM

Исследователи представили метод Never Give Up, направленный на устранение «эффекта Матфея» при обучении LLM с подкреплением (RL). Проблема заключается в том, что текущие алгоритмы эффективно оптимизируют простые задачи, но теряют сигнал обучения на сложных кейсах, где модель чаще совершает ошибки.

Суть подхода заключается в изменении стратегии сэмплирования при генерации ответов. Вместо стандартного обучения на ограниченном наборе данных, система принудительно увеличивает количество попыток генерации для сложных задач. Это позволяет модели получать градиентный сигнал даже в тех случаях, когда вероятность успеха изначально близка к нулю, предотвращая преждевременную сходимость к субоптимальным стратегиям.

В ходе экспериментов было зафиксировано, что при стандартном RL-обучении модели перестают прогрессировать на задачах с высокой когнитивной нагрузкой уже после первых итераций. Метод Never Give Up позволяет сохранить стабильность обучения, обеспечивая равномерное улучшение метрик как на простых, так и на комплексных запросах. Авторы отмечают, что такой подход требует дополнительных вычислительных мощностей на этапе сбора данных, однако значительно повышает итоговую точность модели.

Данная методика направлена на решение фундаментальной проблемы reward hacking и деградации производительности в узкоспециализированных областях. Подробное обсуждение архитектурных ограничений и результатов тестирования доступно в сообществе Hacker News. Внедрение подобных механизмов позволяет разработчикам более эффективно масштабировать обучение моделей на сложные логические цепочки и многошаговые задачи.