Nvidia представила модели Nemotron 3.5 Transcribe и Granary v2

Nvidia выпустила две специализированные модели: Nemotron 3.5 Transcribe для распознавания речи и Granary v2 для структурирования данных. Новинки ориентированы на создание высокоточных систем транскрипции с возможностью адаптации под специфические домены и языковые особенности.

Модель Nemotron 3.5 Transcribe разработана для преобразования аудио в текст с поддержкой многоязычности. Она распространяется бесплатно и способна распознавать до 40 языков, однако работает только с готовыми записями (поддерживается длительность до 1 часа), а не с живым аудио (ограничение реалтайм-режима). Архитектура модели (NVIDIA-Nemotron-3.5-Transcribe-30B-A4B) использует подход Mixture of Experts с 4,3 млрд активных параметров и доступна в прецизионностях BF16, FP8 и NVFP4. Помимо транскрипции, она поддерживает перевод и распознавание говорящего, принимая инструкции в виде текстовых промптов. Модель демонстрирует лидерство в ряде бенчмарков, используя при этом лишь шестую часть активных параметров от объема своего ближайшего конкурента с открытым кодом. Для обучения Nvidia также предоставила набор данных, включающий более 800 000 часов речи, и инструменты для дообучения.

В свою очередь, Granary v2 выступает в роли инструмента для последующей обработки: модель принимает на вход транскрибированный текст и преобразует его в структурированные форматы, такие как JSON или SQL, используя промпты для управления схемой вывода.

Обе модели поддерживают интеграцию в пайплайны обработки данных, что позволяет автоматизировать создание отчетов, протоколов встреч и аналитических сводок из аудиопотоков. Разработчики могут дообучать системы на собственных наборах данных, что критично для узкоспециализированных отраслей, таких как медицина или юриспруденция, где стандартные модели часто допускают ошибки в профессиональной лексике.

Для практиков это означает возможность развертывания конвейера «аудио-в-структуру» с использованием инструментов Nvidia, что сокращает время на ручную разметку и постобработку данных. Модели доступны для ознакомления и тестирования через платформу Hugging Face, предоставляя разработчикам гибкие настройки для адаптации под конкретные бизнес-задачи.