Tencent выпустила мультимодальную модель Youtu-LLM-A7B-Base

Компания Tencent представила крупную открытую модель Youtu-LLM-A7B-Base с архитектурой смещения экспертов. Новинка ориентирована на работу с текстом и визуальными данными.

Общий объем архитектуры составляет 120 миллиардов параметров, при этом на каждый токен задействуется только 7 миллиардов активных параметров. Разработчики применили MoE-подход для повышения производительности без линейного роста вычислительных затрат на инференс.

Согласно внутренней документации на платформе Hugging Face, модель демонстрирует передовые результаты на специализированных бенчмарках. В их числе значатся тесты на общие знания MMLU, мультимодальный анализ MathVista и задачи оптического распознавания символов OCR.

Выпуск модели расширяет линейку открытых решений корпорации для исследователей и разработчиков, создающих локальные мультимодальные системы. Исходные веса уже доступны для загрузки под исследовательские и коммерческие задачи.