Hugging Face представила методику оптимизации бенчмарков распознавания речи

Команда Hugging Face опубликовала результаты исследования по оптимизации процесса оценки систем автоматического распознавания речи (ASR). Специалисты проанализировали влияние различных параметров декодирования и вычислительных стратегий на итоговые показатели точности и скорости обработки аудиоданных.

В ходе тестирования использовались модели семейства Whisper, для которых были зафиксированы изменения в метрике WER (Word Error Rate) при варьировании размера луча поиска (beam size) и использовании различных алгоритмов поиска. Исследователи установили, что оптимизация параметров декодирования позволяет сократить время инференса на 25-40% без потери качества транскрипции на стандартных наборах данных, таких как LibriSpeech.

Технический анализ показал, что использование Flash Attention и специфических ядер для CUDA обеспечивает прирост пропускной способности в 1.8 раза при работе с длинными аудиофайлами. Применение квантования до INT8 позволило снизить потребление видеопамяти на 50%, сохраняя при этом точность распознавания в пределах 0.5% от исходных значений FP16.

Методология включает использование специализированных инструментов для профилирования задержек на каждом этапе конвейера обработки. Авторы подчеркивают, что выбор оптимального размера батча и стратегии кэширования состояний модели является критическим фактором для масштабирования ASR-систем в продакшене.

Данное исследование предоставляет разработчикам готовые конфигурации для настройки моделей распознавания речи под конкретные аппаратные ограничения. Полученные данные позволяют более эффективно использовать вычислительные ресурсы при развертывании моделей на GPU-инфраструктуре.