RedHatAI выпустила квантованную версию модели Muse-Glimmer-30B

Команда RedHatAI представила оптимизированную версию языковой модели Muse-Glimmer-30B, переведенную в формат FP4. Релиз направлен на снижение аппаратных требований при сохранении производительности системы.

Для сжатия весов разработчики использовали инструмент LLM Compressor. В результате применения квантования требования к оперативной памяти сократились на 75% по сравнению с исходной версией модели. Это позволяет запускать 30-миллиардную модель на менее мощном оборудовании, чем требовалось ранее.

Обновленная версия полностью совместима с движком vLLM, что упрощает интеграцию модели в высоконагруженные серверные инфраструктуры. Модель показала результат в 18 баллов по внутренним тестам, пройденным за 1 час вычислений.

Использование формата FP4 становится стандартом для развертывания крупных моделей на потребительских и корпоративных GPU. Снижение объема занимаемой памяти позволяет размещать веса модели в видеопамяти меньшего объема, что критически важно для масштабирования AI-сервисов в облачных средах.