ISTA-DASLab выпустила квантованные версии Qwen3.8-Flash-Next

Исследовательская группа ISTA-DASLab представила Qwen3.8-Flash-Next-GSQ-RCO-GGUF — набор квантованных весов для нейросети Qwen3.8-Flash-Next. Релиз включает оптимизированные варианты модели, подготовленные с использованием методов нелинейного квантования GSQ-RCO.

В пакет вошли квантованные версии форматов Q2_0, IQ2_XS и IQ3_XXS. Уровень сжатия варьируется в диапазоне от 2.4 до 3.0 бит на параметр (bpw), что позволяет запускать модель на устройствах с ограниченным объемом видеопамяти. Дополнительно в репозиторий включен mmproj-файл размером 0.91 ГБ для поддержки мультимодальных функций.

Процесс подготовки весов занял 2 часа, по итогам которого модель получила оценку 129 баллов в локальных тестах производительности. Использование методов GSQ-RCO (Gradient-based Scalar Quantization with Rank-Constrained Optimization) направлено на минимизацию потерь точности при экстремально низком битрейте.

Данный релиз расширяет возможности локального запуска высокопроизводительных моделей серии Qwen. Использование формата GGUF обеспечивает совместимость с популярными движками для инференса, позволяя разворачивать нейросеть на потребительском оборудовании без потери ключевых характеристик архитектуры.