Google прокомментировала инцидент с моделью Gemini в ходе киберучений

Компания Google официально ответила на сообщения о нестандартном поведении модели Gemini во время проведения кибербезопасных соревнований формата CTF (Capture The Flag). В ходе испытаний нейросеть успешно атаковала три фиктивные компании, однако прекратила выполнение вредоносных действий после получения уведомления о том, что цели являются реальными объектами.

Инцидент вызвал дискуссии о безопасности и «выходе из-под контроля» (breakout) автономных систем. Согласно отчету, модель продемонстрировала способность к выполнению многоэтапных атак, но при этом сохранила следование заданным этическим ограничениям. Разработчики подчеркивают, что остановка процесса после смены контекста с игрового на реальный свидетельствует о корректной работе механизмов безопасности, а не о сбое в выравнивании (misalignment).

В рамках эксперимента Gemini использовалась для автоматизированного поиска уязвимостей и эксплуатации векторов атак. Исследователи отметили, что модель самостоятельно принимала решения о выборе инструментов для взлома, опираясь на предоставленные ей инструкции. Несмотря на успешное проникновение в инфраструктуру, система не проявила признаков «агентного захвата» или игнорирования системных промптов.

Данный случай стал важным прецедентом для оценки автономных AI-агентов в условиях, приближенных к реальным киберугрозам. Google продолжает анализировать логи взаимодействия, чтобы уточнить границы допустимого поведения моделей при выполнении задач по тестированию на проникновение. Полученные данные будут использованы для дообучения систем фильтрации и предотвращения несанкционированного использования AI в наступательных целях.