Выпущена квантованная модель Ternary-Bonsai-2-27B-Abliterated

Разработчики представили Ternary-Bonsai-2-27B-Abliterated — специализированную версию модели с 27 миллиардами параметров, оптимизированную для работы с минимальным уровнем отказов. Релиз ориентирован на пользователей, которым требуется высокая точность при выполнении запросов без избыточной цензуры.

Ключевой особенностью сборки является крайне низкий показатель отказов, составляющий всего 1.0%, при полном отсутствии «сверх-отказов» (over-refusal). В процессе подготовки модели была проведена процедура «аблитерации» (abliteration), направленная на удаление нежелательных ограничений поведения. Стоимость изменения весов при проведении оптимизации составила 0.071%, что позволяет сохранять исходные характеристики нейросети при значительном сжатии.

Модель представлена в формате GGUF с использованием метода квантования PTQ1_0. Для запуска данной версии требуется использование специализированного форка llama.cpp от PrismML. Техническая реализация обеспечивает высокую производительность на потребительском оборудовании, достигая оценки в 13 баллов по внутренним тестам за 2 часа обработки данных.

Данный релиз расширяет возможности локального запуска крупных языковых моделей, предлагая альтернативу стандартным весам с жесткими фильтрами безопасности. Использование формата GGUF упрощает интеграцию в существующие локальные среды исполнения, позволяя эффективно распределять нагрузку на видеопамять и системную оперативную память при работе с 27-миллиардной архитектурой.