Исследователи представили библиотеку EconSkills для обучения AI-агентов

Исследователи представили EconSkills — специализированную библиотеку и фреймворк для оценки навыков AI-агентов при работе с динамическими экономическими данными. Система преобразует успешные траектории взаимодействия с веб-ресурсами из набора данных EconWebArena в параметризованные стандартные операционные процедуры.

Каждый навык в библиотеке включает в себя область применения, пошаговый алгоритм навигации, специфические инструкции для конкретных сайтов, механизмы верификации и протоколы восстановления после ошибок. В процессе абстракции исходные значения из реальных запросов заменяются на универсальные плейсхолдеры, что позволяет агентам переносить полученный опыт на новые, ранее не встречавшиеся задачи.

Тестирование показало, что использование EconSkills значительно повышает вероятность успеха по сравнению с методами без предварительного обучения. Применение абстрактных процедур оказалось эффективнее прямого воспроизведения «сырых» траекторий, требуя от модели меньшего количества шагов для достижения цели. В условиях масштабирования библиотеки механизм поиска навыков демонстрирует конкурентоспособные результаты, особенно на задачах, напрямую покрытых базой данных.

Разработка направлена на решение проблемы «забывания» агентами накопленного опыта при переходе между разными веб-ресурсами. Авторы подчеркивают, что предложенный подход позволяет точно определять, когда агенту достаточно процедурной подсказки для навигации, а когда требуется семантическая верификация данных. Проект распространяется под лицензией arXiv для неисключительного распространения.