ESPnet выпустила TTS-модель на архитектуре VITS для синтеза речи

Команда ESPnet представила новую модель синтеза речи, обученную на наборе данных LJSpeech. Релиз базируется на архитектуре VITS, которая объединяет генеративно-состязательные сети и вариационные автокодировщики для достижения высокой естественности звучания.

Модель демонстрирует оценку в 226 баллов, полученную в ходе тестирования за 1 час работы. Инструмент полностью интегрирован в экосистему ESPnet2, что позволяет пользователям развертывать систему через стандартный менеджер пакетов pip или использовать встроенные команды espnet_tts для генерации аудиопотока.

Архитектура VITS (Variational Inference with adversarial learning for end-to-end Text-to-Speech) позволяет модели напрямую преобразовывать входной текст в форму волны, минуя промежуточные этапы генерации спектрограмм. Это сокращает задержки при обработке и повышает качество просодии в синтезированной речи.

Данный релиз ориентирован на разработчиков, использующих фреймворк ESPnet для создания прикладных систем распознавания и синтеза речи. Модель доступна для загрузки в репозитории на платформе Hugging Face, где также представлены конфигурационные файлы для тонкой настройки параметров синтеза под конкретные задачи.

Обновление расширяет библиотеку предобученных решений для работы с голосом, предоставляя готовый к использованию инструмент для задач озвучивания текста. Использование VITS в составе ESPnet2 упрощает внедрение качественного TTS в локальные приложения без необходимости обучения модели с нуля.