Разработчики представили сервер openjev-sglang для API TypeSafe

Разработчик представил openjev-sglang — специализированный HTTP-сервер, реализующий протокол TypeSafe/Jev для взаимодействия с языковыми моделями. Проект ориентирован на высокопроизводительную работу с моделью Qwen3.6-35B-A3B в серверной среде.

Архитектура решения базируется на движке SGLang, что обеспечивает поддержку продвинутых методов оптимизации инференса. В систему интегрированы radix caching для эффективного управления контекстом и breakable CUDA graphs, позволяющие минимизировать накладные расходы при выполнении вычислений на графических процессорах Nvidia.

Фронтенд-часть сервера написана на языке Rust, что обеспечивает высокую скорость обработки входящих запросов и безопасность управления памятью. Проект включает готовые инструкции по развертыванию в контейнеризированных средах и детальную спецификацию API для интеграции с внешними приложениями.

Использование Qwen3.6-35B-A3B в связке с SGLang позволяет достичь высокой пропускной способности при работе с длинными последовательностями токенов. Реализация протокола TypeSafe упрощает типизацию данных при обмене сообщениями между клиентом и сервером, снижая вероятность ошибок при сериализации запросов.

Данный инструмент предназначен для разработчиков, которым требуется развернуть локальный или облачный API-сервер с поддержкой современных методов ускорения инференса. Исходный код проекта доступен для самостоятельной сборки и настройки параметров кэширования под конкретные аппаратные конфигурации.