DeepSeek открыла исходный код движка DeepInfer

Компания DeepSeek представила открытый фреймворк для инференса DeepInfer. Инструмент разработан специально для работы с моделью DeepSeek-V4.1-Flash и оптимизирован под современные вычислительные архитектуры.

Новый движок обеспечивает поддержку оптимизированных ядер, параллельных вычислений и структурированных выходов. Архитектура фреймворка изначально спроектирована для работы как на ускорителях от NVIDIA, так и на оборудовании компании Huawei.

Релиз опубликован на условиях открытого исходного кода в официальном репозитории на GitHub. Проект уже привлек внимание разработчиков, набрав более 4700 звезд за первые часы после публикации.

Открытие собственного инференс-стека позволяет разработчикам развертывать новейшие языковые модели локально с максимальной эффективностью. Это снижает зависимость инфраструктуры от закрытых облачных API и упрощает масштабирование систем на гетерогенном железе.