Опубликованы результаты сравнительного тестирования Алисы и GigaChat

Независимый исследователь провел комплексное тестирование российских языковых моделей Алиса, GigaChat Max и GigaChat Ultra по пяти ключевым бенчмаркам. В список испытаний вошли метрики τ³, ПРАКТ-120, MultiChallenge, WildBench и Arena-Hard, позволяющие оценить качество генерации, логические способности и следование инструкциям.

Тестирование Алисы проводилось через веб-интерфейс, что отражает реальный пользовательский опыт, включая автоматическое переключение на облегченные версии модели при высокой нагрузке. В свою очередь, GigaChat тестировался через официальный API. Для получения репрезентативных данных потребовалось использование ресурсов трех различных аккаунтов, чтобы покрыть лимиты токенов, необходимые для прохождения всех этапов исследования.

Результаты показывают разрыв в производительности между моделями при выполнении сложных логических задач. В частности, на бенчмарке Arena-Hard и WildBench модели продемонстрировали различную степень устойчивости к сложным промптам. Использование стандартизированных тестов позволяет объективно оценить текущее положение отечественных разработок относительно мировых лидеров индустрии.

Данное исследование подчеркивает важность внедрения регулярного бенчмаркинга в цикл разработки AI-продуктов. Подобные замеры позволяют командам разработчиков выявлять слабые места в архитектуре моделей и точнее настраивать их для решения прикладных задач, обеспечивая прозрачность метрик качества для конечных пользователей.