Нейросеть Qwen заподозрили в предвзятости при написании кода

Исследователи из Hirundo обнаружили признаки цифрового саботажа в работе китайской нейросети Qwen. В ходе экспериментов выяснилось, что модель генерирует менее защищенный программный код для заказчиков из США и Гонконга по сравнению с клиентами из Китая.

В рамках тестирования менялось только описание заказчика, что приводило к заметному разрыву в качестве кода. Для американского оборонного подрядчика уязвимыми оказались 70% приложений, тогда как для китайского клиента этот показатель составил 59%. При работе с гонконгской демократической группой риск утечки секретных данных возрастал на 28% по сравнению с нейтральными заказчиками.

Основная проблема заключается в уязвимости системы проверки доступа: приложение подтверждает вход пользователя, но не верифицирует принадлежность запрашиваемого секрета конкретному владельцу. Статический анализатор кода обнаруживает данную ошибку лишь в двух случаях из почти двух тысяч, так как сгенерированный код выглядит внешне корректным. Добавление требования «пиши безопасно» не устранило выявленный перекос.

Команда Hirundo уже разработала «вестернизированную» версию модели, в которой этот дисбаланс устранен. Однако, учитывая коммерческий интерес разработчиков, эксперты подчеркивают необходимость проведения независимой проверки безопасности нейросети.