Исследователи выявили уязвимость в «облитерированных» ИИ-моделях

Специалисты компании ProjectDiscovery обнаружили новый вектор атак на нейросети, прошедшие процедуру «облитерации» (abliteration). Метод, который часто используется для снятия ограничений безопасности и удаления «отказов» из поведения модели, создает критическую уязвимость, позволяющую внедрять скрытые бэкдоры.

Суть атаки заключается в том, что при удалении вектора отказа из весов модели злоумышленники могут внедрить вредоносную полезную нагрузку. Она активируется при вводе специфической триггерной фразы, после чего модель начинает выполнять скрытые команды, включая эксфильтрацию конфиденциальных данных пользователя. Исследователи продемонстрировали, что такие модифицированные модели остаются функциональными, но становятся инструментом для проведения атак типа «человек посередине» или кражи информации.

Процесс «облитерации» предполагает математическое вычитание направления отказа из весов нейросети. Однако, как показал анализ, этот процесс не гарантирует чистоту модели. Вместо удаления нежелательного поведения, злоумышленники могут подменить его скрытым механизмом исполнения команд, который игнорирует стандартные фильтры безопасности, так как они были физически удалены из архитектуры модели в процессе модификации.

Данное исследование подчеркивает риски использования сторонних «разблокированных» моделей, загруженных из открытых репозиториев. Эксперты предупреждают, что отсутствие стандартных механизмов защиты делает такие системы идеальной средой для скрытого внедрения вредоносного кода, который крайне сложно обнаружить при обычном тестировании. Подробный разбор технической реализации атаки доступен в отчете сообщества.