Aleph Alpha выпустила открытую MoE-модель Kolibri с акцентом на немецкий язык

Немецкий разработчик Aleph Alpha представил модель Kolibri с открытыми весами и архитектурой смесь экспертов (MoE).

Новинка содержит 78 миллиардов параметров, из которых 3 миллиарда активны для каждого токена. Обучающая выборка на 21% состоит из текстов на немецком языке. Обучение проходило на кластере из 768 графических процессоров B200, расположенных в Германии и Финляндии.

Веса модели опубликованы под свободной лицензией Apache 2.0 на ресурсе The Decoder. Проект позиционируется как шаг к укреплению технологического суверенитета Европы в сфере искусственного интеллекта.

Открытый релиз дает европейским компаниям и исследователям доступ к мощной базовой языковой системе, оптимизированной под локальные языковые стандарты и корпоративные требования безопасности.