ProCreations выпустила обновленную модель Ternary-Bonsai-2-27B-MTP

Разработчики представили Ternary-Bonsai-2-27B-MTP — обновленную версию языковой модели, прошедшую этап дообучения. Релиз ориентирован на повышение производительности вычислений и оптимизацию архитектуры для специфических аппаратных сред.

Ключевым изменением стало внедрение Q8_0 head, что позволило добиться прироста скорости работы на 1.26%. Модель требует использования специализированного патченного нативного рантайма для систем Linux x86-64. Для корректной работы системы необходима среда CUDA 13.3.

В ходе тестирования модель продемонстрировала результат в 16 баллов по внутренней метрике за 3 часа обработки данных. Использование Ternary-Bonsai-2-27B-MTP предполагает наличие настроенного окружения, соответствующего требованиям по библиотекам NVIDIA и архитектуре процессора.

Данный релиз продолжает серию оптимизаций для моделей семейства Bonsai, направленных на снижение задержек при инференсе. Обновление позволяет разработчикам интегрировать модель в высоконагруженные системы, где критически важна совместимость с последними версиями драйверов и рантаймов.