Исследователи VK представили компактную модель FastWave для восстановления аудио

Исследователи из VK и НИУ ВШЭ разработали FastWave — диффузионную модель, предназначенную для восстановления высокочастотных деталей аудиосигнала (Bandwidth Extension, BWE). Решение позволяет повышать частоту дискретизации любого аудиофайла до студийных 48 кГц.

Архитектура модели оптимизирована для работы на устройствах с ограниченными вычислительными ресурсами. Общий объем параметров FastWave составляет всего 1,3 млн, что делает её одной из самых легких нейросетей в своем классе. Малый вес позволяет интегрировать алгоритм непосредственно в мобильные приложения и клиентские сервисы без значительной нагрузки на процессор.

Технология BWE решает проблему низкого качества звука при передаче через VoIP-сервисы или при работе с архивными записями. В отличие от стандартных методов интерполяции, диффузионный подход позволяет восстанавливать спектральные компоненты, которые были утрачены при сжатии или ограничении полосы пропускания, обеспечивая более естественное звучание голоса и музыки.

Разработка направлена на улучшение качества связи в реальном времени. Использование компактных диффузионных моделей позволяет внедрять сложные алгоритмы обработки звука в продукты массового сегмента, где критически важна низкая задержка и минимальное потребление оперативной памяти.