Исследователи представили бенчмарк CapMem для оценки памяти AI в видео

Исследователи представили CapMem — специализированный бенчмарк для оценки способности мультимодальных моделей удерживать эпизодическую память при анализе длинных эгоцентрических видео. Набор данных призван решить проблему ограниченного контекстного окна и высоких затрат на обработку визуальных токенов, с которыми сталкиваются современные vision-language модели.

Бенчмарк включает 75 видео общей продолжительностью 33,7 часа, размеченных вручную. В состав набора вошли 1 000 вопросов с множественным выбором, охватывающих 16 различных сценариев. Тестирование показало, что использование текстовых описаний (капшенов) в качестве «памяти» эффективнее прямого анализа видеопотока для большинства моделей.

При работе с видео длительностью более 20 минут использование окон описаний по 30 и 60 секунд позволило превзойти стандартные методы VideoQA для 10 из 12 и 8 из 12 протестированных моделей соответственно. На подмножестве данных с использованием шести моделей семейства Qwen средняя точность ответов выросла на 3,22 и 2,55 процентных пункта.

Авторы также внедрили механизм «поиск и верификация» на основе описаний, который дополнительно повышает точность ответов на 5,3 пункта. Результаты исследования подтверждают, что текстовая репрезентация визуальных данных является жизнеспособным методом для долгосрочного эпизодического рассуждения. Работа опубликована под лицензией CC BY 4.0.