Исследователи обнаружили уязвимости в защите моделей OpenAI и Google

Группа исследователей выявила критические недостатки в механизмах безопасности, используемых в современных генеративных моделях OpenAI и Google. Согласно опубликованным данным, существующие фильтры контента могут быть обойдены с помощью специально подготовленных запросов, что позволяет генерировать изображения интимного характера.

В ходе научного исследования эксперты протестировали устойчивость систем к методам «jailbreak» и манипулятивным промптам. Результаты показали, что даже при наличии строгих политик безопасности, модели поддаются воздействию, если злоумышленник использует многоступенчатые инструкции, обходящие встроенные классификаторы нежелательного контента.

Авторы работы подчеркивают, что проблема заключается в фундаментальной архитектуре обучения моделей, которая отдает приоритет выполнению инструкций пользователя над жесткими ограничениями безопасности. Несмотря на регулярные обновления систем фильтрации, новые методы атак позволяют находить «слепые зоны» в алгоритмах модерации, что ставит под угрозу эффективность существующих мер защиты.

Данное исследование демонстрирует разрыв между темпами внедрения новых функций в коммерческие продукты и способностью разработчиков обеспечить их полную безопасность. Полученные результаты требуют пересмотра подходов к обучению с подкреплением на основе отзывов людей (RLHF), чтобы сделать фильтры более устойчивыми к попыткам обхода.