Выпущена квантованная версия модели Qwen3.8-27B

Разработчики представили Qwen3.8-27B-GGUF — оптимизированную версию языковой модели, адаптированную для локального запуска на потребительском оборудовании. Релиз включает квантованные веса, позволяющие использовать модель с ограниченными аппаратными ресурсами без существенной потери точности.

Модель демонстрирует результат в 85 баллов по внутренним тестам, достигая этого показателя за 1 час обработки данных. Формат GGUF обеспечивает совместимость с популярными средами исполнения, включая llama.cpp, vLLM и Ollama. Использование квантования позволяет запускать 27-миллиардную модель на системах с меньшим объемом видеопамяти, чем требуется для запуска полноразмерной версии в формате FP16.

Инструментарий ориентирован на разработчиков, внедряющих локальные AI-решения в приложения типа Pi или Hermes. Поддержка формата GGUF упрощает интеграцию модели в существующие пайплайны локального инференса, обеспечивая высокую скорость генерации токенов на стандартных GPU и CPU.

Данный релиз расширяет доступность архитектуры Qwen для энтузиастов и компаний, работающих с приватными данными. Возможность локального развертывания исключает необходимость передачи запросов на внешние серверы, что критично для задач с повышенными требованиями к безопасности информации.