Исследователи предложили метрики для верификации механистической интерпретируемости

Исследователи представили новый подход к механистической интерпретируемости, определяя её как задачу, поддающуюся строгой верификации. Основная идея заключается в замене отдельных компонентов нейронной сети на упрощенные аналоги с последующим измерением потерь при реконструкции выходных данных.

Для оценки качества интерпретации авторы предлагают использовать количественные метрики, основанные на количестве узлов и ребер в графе модели, а также на показателях повторного использования признаков (feature reuse). В ходе работы было установлено, что классические методы, такие как тензорные сети и низкоранговые аппроксимации, не обеспечивают достаточной точности для полной верификации внутренних процессов модели.

Метод требует, чтобы любая интерпретация структуры нейросети позволяла восстановить исходное поведение модели с минимальными отклонениями. Если замена части весов на упрощенную схему приводит к резкому росту reconstruction loss, интерпретация считается неполной или неверной. Это позволяет формализовать процесс анализа «черного ящика» через воспроизводимые эксперименты.

Данный подход направлен на решение проблемы субъективности в интерпретации AI. Вместо качественного описания работы нейронов предлагается использовать математически проверяемые критерии простоты и функциональной эквивалентности. Это позволяет исследователям объективно сравнивать различные гипотезы о том, как именно модель обрабатывает информацию на уровне отдельных весов и активаций.