Представлен драфтер DFlash 2 для ускорения модели Qwen3.8-27B

Разработчики представили Qwen3.8-27B-DFlash2 — специализированный инструмент для ускорения генерации текста в модели Qwen3.8-27B. Решение базируется на архитектуре DFlash 2, которая выступает в роли 2B block-diffusion драфтера.

Технология позволяет достичь ускорения инференса до 3.43x при использовании 8 draft-токенов на каждом шаге генерации. В ходе тестирования модель показала результат в 236 баллов, затратив на выполнение задачи 1 час. Веса и конфигурация доступны для загрузки в репозитории на платформе Hugging Face.

Использование драфтеров (draft models) является методом оптимизации, при котором малая модель предсказывает последовательность токенов, а основная модель проверяет их параллельно. Это позволяет значительно сократить время ожидания ответа от LLM без потери качества генерации, характерного для квантованных версий.

Интеграция DFlash 2 ориентирована на разработчиков, использующих Qwen3.8-27B в высоконагруженных системах, где критически важна низкая задержка (latency). Инструмент позволяет эффективно масштабировать работу с моделью на стандартном серверном оборудовании.