Выпущен патч для запуска 125B модели Qwen3.8 на потребительском железе

Разработчики представили Qwen3.8-Flash-Next-INT4-Mixed-AutoRound — специализированный патч для движка vLLM, позволяющий запускать тяжеловесные MoE-модели на ограниченных аппаратных ресурсах. Решение использует смешанную квантованную схему INT4/INT6, реализованную через метод AutoRound.

Техническая реализация позволяет развернуть модель с 125 млрд параметров на конфигурации из 3–4 видеокарт RTX 3090. Система поддерживает работу с контекстным окном до 262 000 токенов. В ходе тестов производительность при декодировании достигла 60 токенов в секунду, а скорость префилла составила 3700 токенов в секунду.

Для достижения таких показателей используется оптимизация весов, которая минимизирует потерю точности при переходе к низкобитному представлению. Использование AutoRound обеспечивает баланс между сжатием данных и сохранением способности модели к рассуждению, что критично для архитектур типа MoE (Mixture of Experts).

Данный инструмент снижает порог входа для локального запуска крупноязычных моделей, требующих ранее серверных мощностей с большим объемом VRAM. Патч ориентирован на исследователей и разработчиков, использующих потребительское оборудование для работы с длинным контекстом и высокопараметрическими нейросетями.