Xiaomi оптимизировала работу модели MiMo-V2.6-Flash на кластере DGX

Разработчики представили конфигурацию MiMo-V2.6-Flash-2x-DGX-Spark, позволяющую запускать 310-миллиардную модель Xiaomi на специализированном аппаратном обеспечении. Система демонстрирует высокую производительность при работе с длинными контекстными последовательностями.

В основе решения лежит использование 4 узлов DGX Spark, работающих под управлением движка vLLM. Интеграция метода DFlash для спекулятивной декодировки и использование fp8 KV cache позволили достичь скорости генерации в 155.8 токена в секунду. Модель успешно обрабатывает контекстное окно объемом до 300 000 токенов.

Техническая реализация проекта ориентирована на минимизацию задержек при инференсе сверхкрупных языковых моделей. Использование 8-битного квантования кэша ключей и значений (KV cache) существенно снижает требования к видеопамяти, сохраняя при этом точность генерации на уровне исходных весов модели.

Данный подход позволяет развертывать тяжелые LLM в корпоративных средах с ограниченным количеством вычислительных узлов. Оптимизация стека vLLM под архитектуру DGX Spark обеспечивает стабильную работу при высоких нагрузках, что критично для систем, требующих обработки больших массивов данных в реальном времени.