Nvidia представила фреймворк NeMo Data Designer для синтетических данных

Компания Nvidia выпустила NeMo Data Designer (NDD) — открытый фреймворк для генерации мультимодальных синтетических данных. Инструмент предназначен для создания наборов данных, включающих текст, программный код, структурированные ответы, изображения и эмбеддинги.

Архитектура NDD базируется на декларативном формате конфигурации, который позволяет пользователям или AI-агентам детально описывать каждый столбец датасета. Система поддерживает гибкую настройку статистических параметров для управления разнообразием данных. Встроенная система плагинов дает возможность добавлять новые типы данных и расширять функциональность под специфические задачи.

Рабочий процесс в NDD построен на итеративном цикле «просмотр и пересмотр». Пользователи могут генерировать небольшие выборки записей для проверки качества, корректировать спецификации и запускать полномасштабную генерацию. На этапе выполнения фреймворк автоматически разрешает зависимости, управляет вызовами к API моделей и выполняет повторные попытки при сбоях запросов.

Разработчики использовали NDD при создании моделей семейства Nemotron и в ряде корпоративных проектов. Конфигурационные файлы фреймворка являются проверяемыми артефактами, что упрощает обмен рабочими процессами и обеспечивает воспроизводимость результатов обучения. Исходный код проекта распространяется по лицензии Creative Commons Attribution 4.0.

Внедрение подобных инструментов позволяет автоматизировать подготовку качественных обучающих выборок для специализированных моделей. Использование синтетических данных становится стандартом в индустрии, позволяя обходить ограничения на доступ к размеченным реальным данным и ускорять разработку доменных решений.