Zhipu AI разработала собственную инфраструктуру для инференса GLM

Компания Zhipu AI представила специализированную производственную инфраструктуру для запуска модели GLM-5.3-Flash. Система была развернута на базе кластера из 100 000 китайских AI-ускорителей, что позволило обеспечить высокую производительность при работе с крупными языковыми моделями.

Ключевым достижением стало увеличение пропускной способности системы в 3 раза по сравнению с предыдущими конфигурациями. Инженеры добились таких показателей за счет внедрения оптимизации W8A8-квантования, которая снижает требования к вычислительным ресурсам без существенной потери точности вычислений.

Для ускорения процесса развертывания команда использовала специализированный Infra Agent. Этот инструмент автоматизации позволил завершить проектирование и настройку всей инфраструктуры менее чем за две недели, что значительно сократило время вывода модели на рынок.

Разработка собственной инфраструктуры стала ответом на необходимость масштабирования сервисов в условиях ограничений на доступ к зарубежному оборудованию. Использование локальных ускорителей в сочетании с программными оптимизациями позволяет компании поддерживать стабильную работу GLM-5.3-Flash при высоких нагрузках, обеспечивая эффективную обработку запросов пользователей в режиме реального времени.