Исследователи оценили способность AI-агентов понимать архитектуру процессоров

Команда исследователей представила AutoTuring — методологию для проверки того, действительно ли AI-агенты понимают принципы проектирования оборудования или просто подбирают параметры методом перебора. В ходе эксперимента агентам предлагалось оптимизировать 15-мерное пространство ускорителя в двух режимах: с использованием понятных архитектурных параметров и в виде анонимных переменных.

Результаты показали, что наличие осмысленных данных дает преимущество: агент, понимающий архитектуру, превзошел модель H200 на 5.4%, тогда как «слепой» агент, работающий с абстрактными числами, показал результат на 12.3% хуже. При этом «архитектор» справился с задачей, совершив на 70.1% меньше обращений к симулятору, что подтверждает эффективность осознанного проектирования.

Исследование также выявило, что использование цикла критики (critic loop) позволяет «слепому» агенту практически полностью компенсировать отставание от агента с архитектурными знаниями. Это означает, что структурированная обратная связь и глубокое понимание устройства системы выступают как взаимозаменяемые инструменты, а не как дополняющие друг друга компоненты.

Авторы работы подчеркивают, что текущие методы оценки агентов часто не способны различить случайный поиск от осознанного проектирования. Предложенный подход позволяет измерить разрыв между этими методами, что критически важно для переноса навыков агента на новые архитектуры. Работа опубликована под лицензией Non-exclusive distribution.