Yandex представила MoE-модель AliceAI-Foundation-80B-A3B-Base

Компания Yandex выпустила AliceAI-Foundation-80B-A3B-Base — новую языковую модель с архитектурой Mixture-of-Experts (MoE). Релиз ориентирован на работу с большими объемами данных и специализированными задачами.

Модель обладает общим объемом в 80 миллиардов параметров, при этом количество активных параметров на каждый токен составляет 3 миллиарда. Такая конфигурация позволяет сохранять высокую производительность при сниженных вычислительных затратах на инференс по сравнению с плотными моделями аналогичного размера.

Ключевой особенностью архитектуры является поддержка контекстного окна объемом 262 тысячи токенов. Это позволяет системе обрабатывать длинные документы и сложные программные проекты целиком, не прибегая к агрессивному разбиению текста на фрагменты.

В ходе внутренних тестов модель продемонстрировала высокие показатели в бенчмарках, оценивающих работу с фактами на русском языке, математические вычисления и генерацию программного кода. Разработчики отмечают, что архитектура A3B обеспечивает баланс между глубиной знаний и скоростью отклика.

Выпуск данной модели расширяет инструментарий для создания высоконагруженных AI-систем, требующих глубокой интеграции с русскоязычным контентом. Исходные веса и документация уже доступны для ознакомления и интеграции в сторонние проекты через платформу Hugging Face.