Разработчики представили языковую модель Murasaki-Backup

На платформе Hugging Face состоялся релиз новой языковой модели Murasaki-Backup. Модель ориентирована на локальное использование и доступна для запуска на персональных компьютерах с ограниченными аппаратными ресурсами.

Разработчики обеспечили полную совместимость с популярными средами выполнения, включая llama.cpp и Ollama. Пользователи могут интегрировать модель в локальные приложения, такие как LM Studio, Jan и Pi, для выполнения задач обработки текста без обращения к облачным API.

Для оптимизации потребления оперативной памяти и видеопамяти модель распространяется в формате IQ4_XS. Данная квантованная версия позволяет запускать нейросеть на потребительском оборудовании, сохраняя при этом баланс между производительностью и точностью генерации ответов.

Релиз модели направлен на расширение экосистемы инструментов для приватной работы с данными. Использование квантования IQ4_XS делает Murasaki-Backup доступной для широкого круга пользователей, предпочитающих локальный инференс вместо использования централизованных сервисов.