ByteDance и Университет Цинхуа представили систему обучения DAPO

Команды ByteDance Seed и Университета Цинхуа (AIR) выпустили открытую систему обучения с подкреплением DAPO. Проект ориентирован на оптимизацию политики обучения моделей и демонстрирует высокую эффективность в задачах математического рассуждения.

В ходе тестирования система показала результат 50% на бенчмарке AIME 2024 при использовании базовой модели Qwen2.5-32B. Ключевыми техническими особенностями реализации стали механизмы decoupled clip (разделенное ограничение) и dynamic sampling (динамическая выборка), которые позволяют более стабильно обновлять веса модели в процессе обучения.

Репозиторий проекта содержит исходный код, необходимый для воспроизведения результатов и интеграции системы в собственные пайплайны обучения. Разработчики сделали акцент на снижении вычислительных затрат при сохранении высокой точности логических выводов, что критически важно для моделей, работающих со сложными математическими задачами.

Внедрение DAPO позволяет исследователям применять более гибкие стратегии оптимизации, чем стандартные методы PPO. Использование динамической выборки сокращает количество итераций, необходимых для достижения целевых показателей точности, что делает систему перспективным инструментом для дообучения LLM в специализированных областях.