ESPnet выпустила модель распознавания китайской речи на архитектуре Conformer

Команда ESPnet представила новую модель для автоматического распознавания речи (ASR), оптимизированную для обработки китайского языка. Система построена на базе архитектуры Conformer и прошла обучение на крупномасштабном наборе данных WeNetSpeech.

Модель демонстрирует показатели WER (Word Error Rate) в диапазоне от 13.4% до 68.0% в зависимости от типа тестового набора данных. Обучение системы заняло 1 час на специализированном вычислительном кластере, что позволило достичь оценки в 12 баллов по внутренней метрике проекта.

Решение ориентировано на задачи транскрибации и обработки аудиопотоков на китайском языке. Использование архитектуры Conformer обеспечивает баланс между локальными и глобальными зависимостями в аудиосигнале, что критически важно для точного распознавания тональных языков.

Модель доступна для интеграции в рамках экосистемы ESPnet2, которая предоставляет инструменты для создания сквозных систем распознавания и синтеза речи. Разработчики могут использовать предобученные веса для дообучения на собственных специфических доменах или для развертывания готовых сервисов транскрибации.