RESI запустил рабочую группу по формальной верификации AI

RESI (The Institute for Responsible Superintelligence) объявил о создании специализированной рабочей группы, сфокусированной на применении методов формальной верификации для обеспечения безопасности нейросетевых систем.

Руководителем направления назначен Адам Члипала, известный эксперт в области интерактивного доказательства теорем. В состав группы также вошли Шафи Голдвассер и Винод Вайкунтанатан, специализирующиеся на криптографии и теоретических основах вычислительной безопасности.

Основная задача подразделения — разработка математически строгих методов проверки корректности работы моделей ИИ. Участники планируют использовать инструменты формальной верификации для минимизации рисков в архитектурах систем, которые потенциально могут обладать возможностями уровня суперинтеллекта.

Работа группы направлена на решение проблем кибербезопасности, связанных с непредсказуемым поведением нейросетей. Исследователи намерены интегрировать методы доказательства свойств кода непосредственно в процессы обучения и развертывания моделей, чтобы гарантировать соблюдение заданных ограничений безопасности.

Создание этой группы знаменует переход от эмпирических методов тестирования ИИ к подходам, основанным на строгой математической верификации. Это позволит разработчикам получать гарантии безопасности, которые невозможно обеспечить стандартными бенчмарками или методами «красного тестирования».