Выпущена MLX-версия Qwen3.6-27B с поддержкой многотокенового предсказания

Разработчики представили Qwen3.6-27B-MTPLX-Optimized — специализированную версию языковой модели, адаптированную для работы на устройствах с архитектурой Apple Silicon. Релиз ориентирован на использование нативных возможностей фреймворка MLX для ускорения инференса.

Ключевой особенностью модели является поддержка нативного многотокенового предсказания (MTP) и спекулятивного декодирования. В ходе тестов система продемонстрировала до 2.24x более высокую скорость декодирования при работе с задачами по написанию кода. Использование MTP позволило добиться более высоких показателей принятия черновиков (draft acceptance rates) по сравнению со стандартными реализациями на базе vLLM.

Модель оптимизирована для локального запуска на Mac, что позволяет эффективно использовать ресурсы графических ядер Apple M-серии. Разработчики отмечают, что архитектура MTPLX обеспечивает баланс между качеством генерации и задержкой отклика, что критично для интерактивных инструментов разработки.

Данный релиз расширяет возможности локального инференса тяжелых моделей на потребительском «железе». Переход на нативные MLX-реализации позволяет снизить накладные расходы на вычисления и повысить общую пропускную способность токенов в секунду без потери точности, характерной для квантованных версий.