IFM выпустила квантованную модель K2-Horizon-7B-FP8

Команда разработчиков представила K2-Horizon-7B-FP8 — новую версию языковой модели с архитектурой 7B, оптимизированную для работы в формате FP8. Релиз ориентирован на снижение требований к видеопамяти при сохранении точности вычислений, характерной для формата BF16.

Ключевой особенностью модели является поддержка контекстного окна объемом 512K токенов. Использование квантования FP8 позволяет значительно ускорить процесс инференса на аппаратном обеспечении, поддерживающем данный тип данных, при этом модель сохраняет плотную (dense) структуру весов.

В ходе внутренних тестов модель продемонстрировала высокую производительность, получив оценку 10 баллов по внутренней метрике разработчиков при времени обработки в 1 час. Модель доступна для загрузки на платформе Hugging Face и предназначена для развертывания в средах с ограниченными ресурсами GPU.

Переход на формат FP8 становится стандартом для оптимизации современных LLM, позволяя запускать более длинные контексты на потребительском и серверном оборудовании без существенной потери качества генерации. Данный релиз расширяет инструментарий для разработчиков, работающих с высоконагруженными системами обработки текста.