IBM Research представила фреймворк ALTK для оценки стабильности AI-агентов

Исследователи из IBM Research представили ALTK — специализированный фреймворк для количественной оценки воспроизводимости действий AI-агентов. Инструмент позволяет выявлять скрытые ошибки в цепочках рассуждений, которые приводят к разным результатам при выполнении идентичных задач в разное время.

Методология ALTK фокусируется на анализе «траекторий» агента. Система проводит серию из 50-100 итераций для каждой задачи, фиксируя отклонения в финальных ответах и промежуточных шагах. В ходе тестов на стандартных бенчмарках было выявлено, что даже модели с высоким средним показателем успеха демонстрируют вариативность результатов до 35% при повторных запусках в идентичных условиях.

Фреймворк включает модуль автоматического сравнения логов выполнения, который классифицирует ошибки на «логические» и «инструментальные». Инструмент поддерживает интеграцию с популярными средами исполнения, позволяя разработчикам отслеживать коэффициент стабильности (Consistency Score) в реальном времени. Данные показатели помогают понять, является ли успех агента результатом надежного алгоритма или случайным совпадением при генерации токенов.

Внедрение подобных систем оценки становится критическим этапом для перехода от прототипов к промышленным AI-агентам. Стандартизация метрик воспроизводимости позволяет разработчикам точнее настраивать параметры температуры и системные промпты, минимизируя риск непредсказуемого поведения в критических бизнес-процессах, где точность выполнения последовательности действий важнее креативности модели.