Выпущена квантованная версия модели MiniMax-M3

Разработчики представили MiniMax-M3-uncensored-GGUF — нецензурированную версию крупной языковой модели, оптимизированную для запуска через библиотеку llama.cpp. Оригинальная архитектура MiniMax-M3 обладает общим объемом параметров в 427B, что требует значительных вычислительных ресурсов для локального развертывания.

Для обеспечения работы на потребительском и серверном оборудовании модель была переведена в формат GGUF с использованием различных уровней квантования. Пользователям доступны варианты сжатия от IQ2_S до Q8_0. Самым компактным вариантом в линейке является версия IQ4_XS, размер которой составляет 189.13 GiB.

Процесс квантования позволил адаптировать веса модели для эффективного использования оперативной памяти при сохранении исходной логики работы. Использование формата GGUF обеспечивает совместимость с актуальными версиями llama.cpp, позволяя распределять нагрузку между CPU и GPU в зависимости от доступных аппаратных мощностей.

Данный релиз ориентирован на исследователей и энтузиастов, которым требуется доступ к нефильтрованным ответам модели с параметрами 427B в локальной среде. Наличие широкого спектра квантованных версий позволяет подобрать оптимальный баланс между точностью генерации и объемом занимаемой видеопамяти или RAM.