Представлена модель OrcaBonsai-27B-Uncensored с методом удаления отказов

Разработчики представили OrcaBonsai-27B-Uncensored — специализированную версию нейросети, использующую технику удаления направлений отказа (refusal-direction ablation) в режиме реального времени. Модель базируется на архитектуре Ternary-Bonsai-2-27B и оптимизирована для работы на устройствах с чипами Apple Silicon.

Техническая реализация проекта опирается на фреймворк MLX и квантование до 2 бит. Ключевой особенностью является применение 129 точек интервенции в остаточных связях (residual intervention sites). Такой подход позволяет модифицировать поведение модели «на лету» без необходимости переобучения или повторного квантования исходных весов.

В ходе тестирования система продемонстрировала результат в 30 баллов по внутренней метрике производительности, достигнув этого показателя за 3 часа вычислений. Использование метода интервенции позволяет обходить стандартные ограничения модели, сохраняя при этом целостность базовых весов, что критично для работы на потребительском «железе» с ограниченным объемом памяти.

Данный релиз расширяет возможности локального запуска тяжелых моделей на архитектуре Apple. Использование 2-битного квантования в сочетании с динамическим вмешательством в процесс инференса позволяет запускать 27-миллиардные модели на устройствах с меньшим объемом оперативной памяти, чем требуется для стандартных FP16 или INT8 версий.