Исследователи представили алгоритм RETD для стабилизации обучения с подкреплением

Исследователи опубликовали работу, описывающую Regularized Emphatic Temporal-Difference Learning (RETD) — новый метод, направленный на устранение проблем нестабильности при использовании постоянных шагов обучения в алгоритмах с подкреплением.

Стандартный подход Emphatic TD (ETD) часто сталкивается с проблемой положительных показателей Ляпунова при выборке данных, что приводит к расходимости процесса. Авторы исследования предложили нормализованный механизм коррекции первого порядка, который сохраняет веса и отношения важности, используя утечку скалярного состояния для хранения сигнала и последующей отложенной корректировки.

В ходе экспериментов, включавших 10 000 прогонов, алгоритм RETD продемонстрировал сертифицированные отрицательные показатели на двухсоставных конструкциях, где классический ETD показывал нестабильность. Метод позволяет восстанавливать фиксированную точку ETD с помощью одно- и двухрегуляризационных считываний, обеспечивая сходимость при гармонически убывающих шагах.

Предложенный подход не снижает дисперсию следа, но существенно меняет динамику после шоковых состояний системы. Результаты подтверждают, что RETD эффективно справляется с зависимостью от конкретных задач, обеспечивая более предсказуемое поведение модели в условиях off-policy обучения.

Работа вносит вклад в теорию обучения с подкреплением, предлагая математически обоснованное решение для стабилизации обучения агентов в сложных средах. Исходные данные и доказательства теорем доступны по лицензии CC BY-NC-ND 4.0.