Разработчики представили рецепт инференса DeepSeek-V4.1-Flash на базе DGX Spark

Команда разработчиков опубликовала LuZ-0.1.7-DeepSeek-v4.1-Flash-DGXspark-TP4-Ring — специализированный рецепт для развертывания модели DeepSeek-V4.1-Flash на кластерах из 4 узлов NVIDIA DGX Spark.

Решение ориентировано на максимальную пропускную способность при использовании архитектуры с беспереключательным кольцом RoCE. В ходе тестов система продемонстрировала скорость префилла на уровне 3436 токенов в секунду. При обработке 16 параллельных запросов совокупная скорость декодирования достигла 460 токенов в секунду.

Для достижения таких показателей используется конфигурация TP4 (Tensor Parallelism 4), что позволяет эффективно распределять вычислительную нагрузку между узлами. Весь процесс подготовки и запуска системы занимает около 5 часов, что делает данный стек пригодным для быстрого развертывания высокопроизводительных инференс-серверов в продакшн-средах.

Оптимизация сетевого взаимодействия через RoCE-кольцо исключает необходимость использования внешних коммутаторов, снижая задержки при передаче данных между GPU. Данный подход позволяет владельцам оборудования DGX Spark значительно повысить эффективность работы с крупными языковыми моделями без дополнительных затрат на сетевую инфраструктуру.