Разработчики представили систему Realtime-Venus для аудиовизуального общения

Команда Realtime-Venus выпустила полнодуплексную систему для аудиовизуального взаимодействия с поддержкой асинхронного делегирования задач. Решение ориентировано на создание естественного диалога между пользователем и ИИ в реальном времени.

В основе системы лежит модель с 9 миллиардами параметров, базирующаяся на архитектурах MiniCPM-o 4.5 или Qwen3-8B. Техническая реализация поддерживает проактивное взаимодействие, корректную обработку прерываний в процессе речи и функцию долгосрочной памяти для видеоконтента, которая работает без необходимости дополнительного дообучения.

Система спроектирована для обработки потоковых данных, что позволяет модели реагировать на визуальные и звуковые сигналы с минимальными задержками. Использование 9B архитектуры обеспечивает баланс между производительностью и требованиями к вычислительным ресурсам, позволяя развертывать решение в различных сценариях взаимодействия.

Функция асинхронного делегирования позволяет системе выполнять фоновые задачи, не прерывая текущий поток общения с пользователем. Это расширяет возможности применения модели в качестве персонального ассистента, способного удерживать контекст длительных видеосессий и оперативно переключаться между задачами в ходе диалога.

Релиз предоставляет разработчикам готовый инструментарий для интеграции мультимодальных возможностей в сторонние приложения. Исходный код и веса модели доступны в открытом доступе, что позволяет проводить локальное тестирование системы и её адаптацию под специфические задачи обработки аудиовизуальных потоков.