Выпущена квантованная модель Qwen3.8-Flash-Next для работы на Mac

Разработчики представили Qwen3.8-Flash-Next-MLX-Serve-iQ-MLX-3.3bpw — специализированную версию языковой модели, оптимизированную для запуска на устройствах Apple с архитектурой Apple Silicon. Релиз ориентирован на пользователей, обладающих системами с 64 ГБ оперативной памяти.

Ключевой особенностью сборки стало квантование до 3.3 бит на вес (bpw). При таких параметрах модель демонстрирует 85.6% top-1 accuracy в тестах на точность. Использование данной версии требует 52 ГБ резидентной памяти, что позволяет эффективно задействовать аппаратные ресурсы Mac для локальных вычислений.

Архитектура поддерживает работу с контекстным окном до 64 тысяч токенов. В ходе тестирования модель показала результат в 8 баллов по внутренней шкале оценки производительности, достигнув этого показателя за 2 часа обработки данных.

Инструментарий базируется на фреймворке MLX, который обеспечивает нативную поддержку ускорения на чипах Apple M-серии. Это позволяет запускать тяжелые LLM без необходимости использования облачных GPU, сохраняя при этом высокую точность генерации.

Данный релиз расширяет возможности локального запуска крупных моделей для разработчиков и исследователей, работающих в экосистеме macOS. Оптимизация весов до 3.3 бит позволяет разместить модель в памяти устройств с 64 ГБ RAM, обеспечивая баланс между потреблением ресурсов и качеством ответов.