Выпущена квантованная модель Swift-Qwen3.8-27B-NVFP4

Разработчики представили Swift-Qwen3.8-27B-NVFP4 — специализированную версию языковой модели, оптимизированную для работы на графических ускорителях с использованием смешанной точности.

Вес модели составляет 21,945 ГБ. В архитектуре реализовано сочетание форматов NVFP4 и FP8, что позволяет существенно снизить требования к видеопамяти. При запуске на ускорителях H100 модель занимает всего 20 ГБ VRAM, сохраняя при этом исходное качество генерации и точность работы KV-кэша.

Техническое решение ориентировано на снижение порога входа для развертывания тяжелых моделей на серверном оборудовании. Использование NVFP4 обеспечивает более высокую плотность упаковки весов без критической потери производительности, что критично для систем с ограниченным объемом памяти.

Данный релиз расширяет возможности работы с архитектурой Qwen в условиях ограниченных вычислительных ресурсов. Оптимизация позволяет запускать 27-миллиардную модель на конфигурациях, которые ранее требовали большего объема памяти для аналогичных задач.