Исследователи представили фреймворк для оценки AI-агентов в Data Science

Исследователи представили фреймворк для оценки AI-агентов, работающих с динамическими данными в задачах Data Science. Основная проблема существующих методов заключается в невозможности использования статических эталонных ответов, так как данные в реальных системах постоянно обновляются.

Новый подход, названный ground-truth-as-code, использует исполняемые функции для генерации эталонных ответов непосредственно в момент тестирования. Это позволяет системе автоматически пересчитывать результат на основе актуальных данных. Фреймворк включает в себя формат-агностический модуль оценки, который разбивает ответ агента и эталон на атомарные утверждения, вычисляя точность, полноту и итоговый скор независимо от того, представлен ли ответ в виде текста, таблицы или HTML-кода.

В ходе валидации метода на производственных задачах машинного обучения исследователи зафиксировали улучшение показателя Matthews Correlation Coefficient (MCC) на 29% по сравнению с базовыми методами, использующими естественный язык для проверки. Кроме того, новый подход обеспечил сокращение потребления токенов на 16% на каждый тестовый кейс, что делает процесс оценки более экономичным.

Методология распространяется по лицензии CC BY 4.0 и предназначена для агентов, чьи выходные данные могут быть выражены через вычислимые функции. Внедрение такого подхода позволяет автоматизировать проверку систем, выполняющих интеграцию данных из нескольких источников, где традиционные статические бенчмарки показывают низкую корреляцию с экспертной оценкой.