Выпущена квантованная модель Qwen3.8-27B с оптимизацией MTP

Разработчики представили Qwen3.8-27B-abliterated в формате GGUF, оптимизированную для локального запуска. Модель базируется на архитектуре AEON-7 и использует метод смешанной квантования Ridge-inspired, что позволило уложить веса в 12 ГБ видеопамяти.

Технические характеристики сборки включают уровень сжатия 3.69 bpw. При тестировании на видеокарте RTX 5060 Ti модель демонстрирует скорость генерации около 37 токенов в секунду. Инструментарий адаптирован для работы через движок llama.cpp, что обеспечивает совместимость с большинством потребительских GPU.

В ходе внутренних тестов модель набрала 106 баллов по результатам часового прогона. Использование MTP-структуры (Mixed-quantization Tensor Packing) позволяет минимизировать потери точности при значительном снижении требований к объему VRAM, сохраняя при этом высокую скорость инференса на локальных машинах.

Данный релиз ориентирован на пользователей, которым требуется запуск тяжелых моделей с 27 миллиардами параметров на оборудовании среднего сегмента. Оптимизация весов до 12 ГБ делает модель доступной для систем с ограниченным объемом памяти без необходимости использования облачных мощностей.