Trail of Bits выявила методологические ошибки в бенчмарке 1Password

Компания Trail of Bits опубликовала результаты аудита бенчмарка 1Password, предназначенного для оценки эффективности AI в автоматическом исправлении уязвимостей кода. Исследователи пришли к выводу, что методология тестирования содержит критические искажения, которые ставят под сомнение объективность итоговых показателей.

Аудиторы обнаружили, что в набор тестов были включены специально отобранные «сложные» баги, а инструкции для моделей содержали требования применять заведомо некорректные исправления. Кроме того, в ходе тестирования действовал запрет на запуск сгенерированного кода, что исключало возможность верификации работоспособности патчей в реальных условиях.

Несмотря на выявленные манипуляции, повторный анализ данных показал, что при использовании адекватных условий тестирования AI-модели демонстрируют неплохие результаты. В частности, **86%** созданных патчей успешно блокировали эксплуатацию уязвимостей. Это подтверждает, что инструменты автоматизации способны справляться с защитой кода, если методика оценки не ограничивает их функциональность искусственными барьерами.

Данное исследование подчеркивает проблему отсутствия стандартизированных подходов к оценке безопасности AI-систем. Использование предвзятых бенчмарков может приводить к неверной интерпретации возможностей моделей, что особенно критично для инструментов, работающих с кибербезопасностью и инфраструктурой управления паролями.