Шафи Гольдвассер и Винод Вайкунтанатан основали институт RESI

Известные ученые в области криптографии Шафи Гольдвассер и Винод Вайкунтанатан объявили о запуске некоммерческой организации RESI (Institute for Responsible Superintelligence). Основная задача института заключается в создании научной базы для обеспечения безопасности и контроля над продвинутыми системами искусственного интеллекта.

Деятельность организации сфокусирована на трех ключевых направлениях: формальная верификация алгоритмов, разработка механизмов контроля за поведением моделей и создание правовых рамок для их безопасного внедрения. Исследователи планируют применять методы строгой математической проверки, чтобы гарантировать предсказуемость работы систем, которые превосходят человеческие возможности в решении сложных задач.

В отличие от многих существующих лабораторий, ориентированных на масштабирование вычислительных мощностей, RESI делает ставку на фундаментальные исследования в области доказательной безопасности. Ученые намерены разработать протоколы, которые позволят математически подтверждать отсутствие нежелательных сценариев поведения у моделей до их развертывания в критически важных инфраструктурах.

Создание института стало ответом на растущие риски, связанные с автономностью AI-агентов. Учитывая академический бэкграунд основателей в сфере теоретической информатики, работа RESI будет направлена на устранение разрыва между текущими методами обучения моделей и требованиями к их надежности, которые предъявляются в высоконагруженных и ответственных системах.