Prism ML представила модель Bonsai 2 27B с весами 1.76-бит

Компания Prism ML выпустила Bonsai 2 27B — специализированную версию языковой модели, использующую технологию тернарного квантования. Новинка достигает сжатия весов до 1.76-бит, что позволяет модели занимать всего 5.9 ГБ дискового пространства.

Разработчики заявляют, что Bonsai 2 27B сохраняет 98.2% производительности оригинальной модели Qwen3.8 27B. Столь высокая степень сжатия обеспечивает 9-кратное уменьшение объема памяти по сравнению с исходной архитектурой, сохраняя при этом функциональность для решения задач программирования, компьютерного зрения и работы автономных агентов.

Технические характеристики модели ориентированы на локальное развертывание с высокой пропускной способностью. Использование тернарных весов снижает требования к аппаратным ресурсам, позволяя запускать систему на потребительском оборудовании без существенной потери точности ответов. Это делает модель пригодной для сценариев, где критически важна энергоэффективность и скорость обработки данных в реальном времени.

Обсуждение технических аспектов реализации и бенчмарков доступно на платформе Hacker News. Данный релиз продолжает тренд на оптимизацию тяжелых LLM для работы на локальных устройствах, минимизируя зависимость от облачных вычислений при сохранении высокого уровня когнитивных способностей модели.