Cerebras запустила модели на 3 триллиона параметров на своих чипах

Компания Cerebras объявила о развертывании массивных языковых моделей семейства Kimi K3 с общим объемом в **3 триллиона параметров**. Инженерам удалось разместить целые слои нейросети внутри **44 ГБ встроенной SRAM-памяти** специализированных процессоров, объединив работу **59 кремниевых пластин (wafer)** в единую вычислительную систему.

Для работы со столь масштабной архитектурой была применена схема конвейерного параллелизма (pipeline parallelism), при которой между пластинами передаются исключительно активации. Такой подход позволил полностью задействовать вычислительную мощность оборудования и достичь беспрецедентной производительности на уровне от **1000 до 2000+ токенов в секунду** при обслуживании запросов пользователей.

Новый метод распределения параметров решает ключевую проблему узких мест классических кластеров из GPU, где скорость работы упирается в пропускную способность межсоединений и внешней памяти. Запуск столь крупных конфигураций на оборудовании компании существенно меняет подход к развертыванию инфраструктуры для тяжелых генеративных моделей.

Техническая реализация открывает возможности для эффективного инференса гигантских архитектур без необходимости собирать громоздкие кластеры из тысяч стандартных видеокарт. Подробности метода оптимизации опубликованы в официальном блоге компании.