ByteShape выпустила квантованные версии модели Qwen 3.8 27B

Компания ByteShape представила серию квантованных GGUF-версий языковой модели Qwen 3.8 27B. Релиз направлен на оптимизацию работы модели в условиях ограниченных аппаратных ресурсов при сохранении высокой точности генерации.

Основная конфигурация GPU-5 (IQ4_XS) требует 13.1 ГБ VRAM и демонстрирует производительность на уровне 90.4 токена в секунду. Согласно внутренним тестам, качество ответов этой версии составляет 99.63% от оригинальной модели в формате BF16. Процесс обучения и калибровки весов занял 9 часов, по итогам которых модель набрала 71 балл в профильных бенчмарках.

Для систем с еще более жесткими ограничениями памяти доступна версия GPU-4. Она потребляет 11.0 ГБ VRAM, обеспечивая повышенную скорость инференса за счет более агрессивного сжатия параметров. Обе версии доступны для локального развертывания через стандартные инструменты поддержки GGUF-формата.

Технические детали и результаты тестирования сообщества обсуждаются на платформе Hacker News. Использование квантования позволяет запускать модели класса 27B на потребительских видеокартах среднего сегмента, что снижает порог входа для локального использования тяжелых LLM.