Яндекс выпустил открытую языковую модель AliceAI-Foundation-80B-A3B-Base

Яндекс представил базовую языковую модель AliceAI-Foundation-80B-A3B-Base, обученную с нуля без использования сторонних весов. Модель распространяется под лицензией Apache 2.0 и предназначена для развития агентских возможностей в экосистеме компании.

Архитектура модели содержит 80 миллиардов параметров, при этом число активных параметров составляет около 11 миллиардов. В ходе внутренних тестов новинка превзошла предыдущую закрытую версию Alice AI LLM 235B по показателям фактологических знаний, математических вычислений, навыков программирования и работы с длинным контекстом. Разработчики отмечают, что модель показывает более высокие результаты в бенчмарках IMO AnswerBench и LiveCodeBench по сравнению с DeepSeek-V4-Flash-Base и Nemotron-3-Super.

Процесс обучения занял около полугода и включал использование обновленного корпуса данных, переработанные архитектурные решения и оптимизированные гиперпараметры. Для проверки эффективности каждого этапа команда провела серию экспериментов, обучив несколько версий модели на массивах по 2 триллиона токенов каждая. Полный технический отчет, описывающий пайплайны подготовки данных и протоколы оценки, опубликован вместе с весами.

Вместе с моделью компания открыла два специализированных бенчмарка — WikiWebFacts и HardMultiQA. Эти инструменты сфокусированы на оценке качества ответов в русскоязычном контексте. Публикация данных ресурсов направлена на стандартизацию подходов к измерению качества претрейнов, учитывая сложности автоматической оценки и зависимость результатов от промптов.

Релиз AliceAI-Foundation-80B-A3B-Base является частью стратегии Яндекса по созданию единой рассуждающей модели. Полученные результаты и накопленный опыт в области scaling laws будут использованы для дальнейшего масштабирования агентских функций Алисы.