RedHatAI выпустила модель-спекулятор Qwen3-8B-speculator.dflash

Команда RedHatAI представила специализированную модель-спекулятор Qwen3-8B-speculator.dflash, предназначенную для ускорения генерации текста. Решение разработано для использования в качестве вспомогательного компонента при выполнении задач с основной языковой моделью.

При обучении модели использовались наборы данных Magpie, UltraChat и Nemotron. В процессе подготовки применялись функция потерь D-PACE и оптимизатор Muon, что позволило добиться высокой эффективности предсказаний без использования механизмов рассуждения (reasoning). Модель была обучена за 1 час, получив оценку в 12 баллов по внутренним метрикам производительности.

Ключевым показателем эффективности стала точность принятия токенов (token acceptance rate), которая достигла 87.6% на бенчмарке HumanEval. Использование подобных спекуляторов позволяет значительно сократить время ожидания ответа от LLM за счет параллельного предсказания нескольких токенов, которые затем верифицируются основной моделью.

Данный релиз ориентирован на разработчиков, внедряющих методы спекулятивного декодирования для оптимизации инференса в реальном времени. Интеграция Qwen3-8B-speculator.dflash позволяет снизить задержки при работе с архитектурой Qwen3, сохраняя при этом точность генерации, сопоставимую с базовыми версиями модели.