OpenVINO представила квантованную версию модели Gemma-4-E4B

Команда OpenVINO выпустила экспериментальную версию модели Gemma-4-E4B-it, оптимизированную для работы на локальном оборудовании. Веса модели были сжаты до формата INT4 с использованием библиотеки NNCF, что позволяет значительно снизить требования к оперативной памяти при сохранении базовых характеристик архитектуры.

Конвертация в формат OpenVINO IR обеспечивает совместимость с версиями среды выполнения 2026.1.0 и выше. Для интеграции в рабочие процессы разработчикам потребуется библиотека Optimum Intel версии 1.27.0 или новее. Процесс подготовки и сжатия весов занял около 3 часов, в ходе которых модель получила оценку 8 баллов по внутренним метрикам производительности.

Использование квантования INT4 является стандартным подходом для запуска LLM на потребительских процессорах и интегрированной графике. Перевод модели в формат OpenVINO позволяет использовать аппаратное ускорение на устройствах с архитектурой x86 и ARM, минимизируя задержки при инференсе. Данный релиз ориентирован на разработчиков, создающих локальные AI-приложения с ограниченными вычислительными ресурсами.

Обновление расширяет экосистему инструментов для развертывания моделей семейства Gemma в корпоративных и пользовательских средах. Использование оптимизированных форматов позволяет запускать современные языковые модели на устройствах, которые ранее не поддерживали работу с тяжелыми весами в исходном представлении.