Представлена языковая модель openPangu-2.0-Pro с 505 миллиардами параметров

Разработчики представили openPangu-2.0-Pro — новую крупную языковую модель, построенную на архитектуре Mixture-of-Experts (MoE). Система содержит 505 миллиардов параметров и была обучена с использованием вычислительных мощностей на базе процессоров Ascend NPU.

Модель поддерживает контекстное окно объемом 512 тысяч токенов. В техническую реализацию включены механизмы MLA (Multi-Head Latent Attention) и 4-потоковая архитектура mHC. Для оптимизации процесса обучения разработчики применили алгоритм Muon, что позволило повысить стабильность и скорость сходимости весов при работе с таким объемом данных.

По результатам внутренних тестов, новинка демонстрирует превосходство над не-«мыслящими» (non-thinking) версиями моделей в специализированных бенчмарках. В частности, зафиксирован прирост точности в задачах HMMT и LiveCodeBench, что подтверждает эффективность выбранной архитектуры для решения сложных логических и программных задач.

Релиз модели направлен на расширение возможностей работы с длинными контекстами и высоконагруженными вычислениями. Исходные данные и веса доступны для ознакомления на платформе Hugging Face, где модель уже получила первые оценки сообщества за производительность в специализированных сценариях использования.