Представлен бенчмарк CADWorld для оценки AI-агентов в FreeCAD

Исследователи представили CADWorld — специализированный бенчмарк для тестирования AI-агентов, работающих в профессиональных инженерных средах. Система оценивает способность моделей выполнять сложные задачи в FreeCAD, требующие длительного взаимодействия с графическим интерфейсом и соблюдения строгих геометрических ограничений.

Бенчмарк включает 200 задач, разделенных на 11 категорий, включая моделирование деталей, сборку, CAM-обработку, FEM-анализ и создание технических чертежей. В отличие от стандартных тестов, успех в CADWorld определяется не визуальным сходством, а автоматизированными проверками параметров, структуры проекта и корректности производственных данных.

Тестирование семи актуальных моделей показало значительный разрыв между текущими возможностями AI и требованиями индустрии. Лучший агент достиг лишь 17,5% успеха, в то время как экспертный уровень составляет 87,0%. Слабые модели часто не справляются с созданием валидных файлов, а более продвинутые системы допускают ошибки в структурных и геометрических требованиях.

Разработчики отмечают, что CADWorld наглядно демонстрирует нехватку навыков у современных агентов в задачах, требующих долгосрочного планирования и сохранения целостности инженерных артефактов. Инструментарий доступен для использования под лицензией Creative Commons Attribution 4.0, что позволяет исследователям интегрировать его в свои пайплайны тестирования.