Представлен фреймворк MAGS для автоматической верификации кода AI-агентов

Исследователи представили MAGS — многоагентный фреймворк, предназначенный для генерации программ с математически доказуемыми гарантиями безопасности. Система решает проблему непредсказуемого поведения AI-агентов при создании сложного кода, используя язык Dafny в качестве промежуточного представления для верификации.

Процесс работы MAGS включает формализацию требований и API, трансляцию сгенерированного кода в Dafny, автоматическое исправление ошибок на основе обратной связи от верификатора и последующую компиляцию в исполняемый файл. Такой подход позволяет механически проверять выполнение заданных свойств безопасности, исключая необходимость ручного написания доказательств.

Эффективность системы протестировали на 220 задачах, включая 100 CUDA-ядер, 100 терминальных скриптов и 20 сценариев для управления роботизированными манипуляторами. Во всех случаях фреймворк продемонстрировал 100% успех в создании программ, соответствующих заданным спецификациям безопасности.

Инструмент позволяет минимизировать риски при использовании AI в критически важных инфраструктурах, где ошибки в коде могут привести к сбоям. Авторы отмечают, что текущие ограничения связаны с полнотой формализации семантики целевых задач, однако MAGS уже обеспечивает высокий уровень надежности для автоматизированных систем.