Project Zero сравнила эффективность ИИ-агента и фаззера для V8

Команда Project Zero опубликовала результаты сравнения двух конвейеров поиска уязвимостей в движке Chrome V8. В исследовании сопоставлялись непрерывная работа традиционного фаззера Fuzzilli и суточные проходы ИИ-агента BigSleep.

С апреля по сентябрь 2026 года после фильтрации дубликатов BigSleep зафиксировал 45 исправленных уязвимостей, а Fuzzilli — 37. Дополнительный анализ через базу Clusterfuzz и коммиты-исправления показал пересечение в 20 общих репортов из 81, что составляет около четверти от общего числа, а общая доля пересечений оценивается примерно в 60% согласно выводам исследователей.

В ходе отдельного эксперимента агент на базе модели Gemini 3.6 flash за 25 попыток на каждый случай смог заново обнаружить около 62% старых багов Fuzzilli из 112 протестированных коммитов. При этом уязвимости, требовавшие от фаззера больше времени на обнаружение, вызывали трудности и у ИИ-агента.

Полученные данные показывают соотношение возможностей автоматизированного тестирования кода и языковых моделей при поиске глубоких программных дефектов в реальных проектах, доказывая, что эти инструменты скорее дополняют друг друга, чем заменяют.