Hugging Face представила метод дообучения моделей через GRPO

Команда Hugging Face опубликовала результаты применения алгоритма GRPO для оптимизации структурированного вывода компактных языковых моделей. В ходе эксперимента исследователи дообучили модель с 350 миллионами параметров, используя всего 100 шагов оптимизации для улучшения следования заданным форматам данных.

Метод GRPO (Group Relative Policy Optimization) позволяет модели генерировать несколько вариантов ответа на один запрос, оценивать их качество и корректировать веса на основе относительного преимущества лучших результатов. В данном кейсе модель обучалась строго следовать формату JSON, что критически важно для интеграции AI в программные интерфейсы. Использование TRL (Transformer Reinforcement Learning) библиотеки позволило сократить вычислительные затраты на процесс дообучения.

Результаты показали, что даже при малом количестве итераций модель демонстрирует значительный рост точности соблюдения синтаксиса. Применение LoRA-адаптеров в сочетании с GRPO позволило избежать деградации базовых навыков модели, сохраняя при этом высокую скорость генерации. Использование 100 шагов оказалось достаточным для того, чтобы модель начала стабильно выдавать валидные структуры данных без необходимости в длительном SFT-обучении.

Данный подход открывает путь к эффективной адаптации небольших моделей под узкоспециализированные задачи, где требуется предсказуемый формат вывода. Технология позволяет разработчикам снизить требования к ресурсам при создании специализированных агентов, работающих с API и базами данных, где ошибка в одном символе делает ответ непригодным для дальнейшей обработки.