XGENlabs представила интерактивную модель XGEN-JING

Команда XGEN-JING выпустила одноименную модель для генерации видео и аудио от первого лица. Система предназначена для симуляции навигации и взаимодействия с объектами в реальном времени.

В основе архитектуры лежит базовая модель MiniMax-H3. Разработчики предоставили версию JING-Flash-v1, которая оптимизирована для работы с низкими задержками. Модель поддерживает управление через клавиатуру, что позволяет пользователю напрямую влиять на траекторию движения и действия виртуального агента в кадре.

Для генерации контента система использует опорные изображения в качестве контекста. В репозитории проекта опубликован полный код для инференса, а также набор инструкций по составлению промптов для управления поведением модели. Весь инструментарий доступен для локального развертывания и тестирования.

Технология ориентирована на задачи, требующие эгоцентрического зрения, такие как обучение робототехники или создание интерактивных сред. Использование JING-Flash-v1 позволяет генерировать последовательности, где аудиоряд синхронизирован с визуальными изменениями, вызванными действиями пользователя.

Релиз расширяет возможности генеративных систем в области интерактивного видео, переходя от пассивного просмотра к активному управлению средой. Это упрощает создание обучающих датасетов для автономных агентов, работающих в условиях первого лица.