Amazon представила гибридную модель Mamba2-primed-HQwen3-8B-Instruct

Компания Amazon выпустила Mamba2-primed-HQwen3-8B-Instruct — гибридную языковую модель, объединяющую архитектуры Attention и Mamba-2 в равных пропорциях. Релиз направлен на оптимизацию производительности при сохранении высокого качества генерации текста.

Модель построена на базе Qwen3-8B и использует архитектурный подход 50/50, где половина слоев приходится на классические механизмы внимания, а вторая половина — на блоки состояния пространства Mamba-2. Такое сочетание позволяет достичь 2-кратного ускорения инференса по сравнению с базовой версией при работе с контекстным окном до 128K токенов.

В ходе внутренних тестов модель продемонстрировала способность удерживать качество ответов на уровне оригинальной Qwen3-8B, несмотря на значительное сокращение вычислительных затрат. Инструмент ориентирован на задачи, требующие обработки длинных последовательностей данных в реальном времени, где стандартные трансформеры показывают высокую задержку из-за квадратичной сложности внимания.

Реализация гибридной архитектуры позволяет эффективно использовать преимущества линейного масштабирования Mamba-2 для длинных контекстов, сохраняя при этом точность, характерную для классических моделей с механизмом внимания. Исходный код и веса модели уже доступны для загрузки на платформе Hugging Face под лицензией, соответствующей базовой архитектуре.

Данный релиз является частью усилий по снижению стоимости эксплуатации LLM в продакшн-средах. Переход на гибридные архитектуры позволяет разработчикам масштабировать системы с длинным контекстом без необходимости кратного увеличения аппаратных ресурсов GPU.