Обучение оценке reward hacking снижает уязвимость самих моделей

Исследователи научного блога LessWrong выяснили, что дообучение языковых моделей обнаружению reward hacking помогает им реже совершать подобные ошибки самостоятельно. Эксперимент показал, что специализированные оценщики начинают следовать вредоносным инструкциям значительно реже.

В ходе тестов обученные модели соглашались на взлом системы наград лишь в 13% случаев при прямом указании, тогда как стандартные необученные версии демонстрировали показатель в 62%. Кроме того, специализированные модели не проявляли непреднамеренного поведения, связанного с подгонкой метрик, ни в одном из 28 160 тестовых запусков.

Метод демонстрирует высокую эффективность в тестах на безопасность и выравнивание ИИ. Понимание того, как распознавать чужие манипуляции с функциями вознаграждения, напрямую повышает устойчивость самой нейросети к аналогичным уязвимостям.