Исследователи представили фреймворк Dream-RSI для рекурсивного самообучения

Исследователи опубликовали Dream-RSI — новый фреймворк для рекурсивного самообучения AI-агентов в динамических средах. Система использует накопленную историю открытий в качестве реплей-симулятора, что позволяет моделям оценивать и корректировать свои стратегии без необходимости проведения дорогостоящих онлайн-тестирований.

Основная задача Dream-RSI заключается в минимизации вычислительных затрат при итеративном улучшении агентов. Вместо прямого взаимодействия с внешней средой на каждом этапе, алгоритм создает внутреннюю модель мира, основанную на прошлых данных. Это позволяет системе проводить тысячи симуляций в автономном режиме, сохраняя при этом высокую точность принятия решений.

В ходе тестирования фреймворк продемонстрировал способность к автономному накоплению опыта, при котором агент самостоятельно выявляет пробелы в своих знаниях и заполняет их через эволюционирующие миры. Метод позволяет избежать деградации стратегий, характерной для стандартных подходов к обучению с подкреплением, за счет постоянной валидации через исторические данные.

Технология ориентирована на решение задач в условиях ограниченных ресурсов, где традиционное обучение требует значительных мощностей. Разработчики отмечают, что использование исторического реплея снижает нагрузку на инфраструктуру при масштабировании агентов до сложных многоуровневых задач. Подробные результаты экспериментов и математическое описание алгоритма доступны в научной публикации.