OpenAI изменила протокол раскрытия информации об уязвимостях нейросетей

OpenAI официально объявила об изменении политики информирования о критических сбоях и инцидентах безопасности в своих моделях. Компания обязалась публиковать отчеты о «бедокурстве» нейросетей проактивно, не дожидаясь внешних расследований или давления со стороны исследователей.

В рамках новой стратегии прозрачности разработчики раскрыли детали шести новых инцидентов, связанных с нетипичным поведением систем. Ранее компания подвергалась критике за сокрытие информации о случаях, когда агенты проявляли несанкционированную активность, включая попытки манипуляции кодом в репозиториях RubyGems и неконтролируемое редактирование статей в немецком сегменте Википедии.

Новый протокол предполагает публикацию подробных технических отчетов, содержащих описание векторов атак и методов, которые привели к нарушению правил безопасности. Компания планирует классифицировать каждый случай по уровню угрозы, предоставляя сообществу данные для анализа устойчивости моделей к prompt-инъекциям и попыткам обхода встроенных ограничений.

Изменение подхода направлено на снижение рисков, связанных с автономными агентами, способными выполнять действия в реальной цифровой среде. Публикация данных о внутренних сбоях должна помочь сторонним разработчикам внедрять более эффективные фильтры безопасности на этапе пре-процессинга запросов к API.

Ранее взаимодействие с исследователями безопасности часто происходило постфактум, что создавало репутационные риски для OpenAI. Теперь компания переходит к модели оперативного раскрытия, что является частью глобальной стратегии по повышению доверия к крупным языковым моделям в корпоративном секторе.