Исследователи предложили формальную базу GAI для самообучающихся агентов

Исследователи опубликовали работу Generalized Agent Iteration (GAI), предлагающую единую математическую структуру для описания итеративного улучшения политик и рекурсивного самообучения (RSI). Авторы стремятся объединить классические методы обучения с концепциями автономного развития интеллекта в рамках одной парадигмы.

В основе GAI лежит модель агента как конфигурации модифицируемых компонентов, где процесс обучения представлен как циклический алгоритм оценки и последующей оптимизации. Система использует два ключевых параметра: расположение механизма улучшения (внутри или снаружи агента) и наличие внешней системы координат для оценки результатов. Эти переменные позволяют классифицировать системы по их полярности: от жестко заданных целей до полностью самореферентных структур.

Предложенный подход позволяет формализовать различия между классическим итеративным улучшением политик (GPI) и рекурсивным самосовершенствованием. Авторы используют GAI для систематизации существующих архитектур, что дает возможность выявлять дефекты в процессах самообучения по отдельным условиям. Это позволяет сравнивать разнородные системы на единой шкале координат.

Работа направлена на создание принципиальной базы для анализа и проектирования будущих автономных агентов. Формализация условий, при которых агент способен к самоизменению, помогает избежать проблем «дрейфа целей» и обеспечивает предсказуемость поведения систем в долгосрочной перспективе. Исследование доступно под лицензией CC BY-NC-ND 4.0.