Представлен синтетический датасет QVAC Genesis III для обучения STEM-моделей

Исследователи опубликовали QVAC Genesis III — масштабный синтетический корпус данных, предназначенный для эффективного обучения языковых моделей в области точных наук (STEM). Набор содержит 191,43 млрд токенов, охватывающих 19 различных доменов с вариативностью уровней сложности и образовательных стилей.

Датасет создан с использованием стратегии двойной генерации, основанной на дистилляции знаний от «учителя» к «ученику». Система анализирует ошибки компактных моделей, преобразуя их в корректирующие пояснения, а успешные ответы дополняет контрастным рассуждением по всем вариантам выбора. Для оценки качества данных авторы внедрили протокол LLM-as-a-parser, который отслеживает точность и валидность ответов в свободном формате.

В ходе тестирования на моделях с 1,7 млрд параметров, обученных с нуля, QVAC Genesis III продемонстрировал преимущество над открытым корпусом Cosmopedia-v2. Прирост производительности на бенчмарках составил до +28,57% на ARC-E и +21,35% на ARC-C, при этом показатель валидных ответов (Valid Answer Rate) достиг 99,45%.

Материалы исследования и данные распространяются под лицензией Creative Commons Attribution 4.0. Разработка ориентирована на оптимизацию обучения компактных моделей для работы на периферийных устройствах, где бюджет токенов и вычислительные ресурсы жестко ограничены.