Исследователи предложили метод прунинга нейросетей через метрику Фишера

Группа исследователей представила новый математический подход к оптимизации нейронных архитектур, основанный на использовании дифференциально-геометрического расстояния в пространстве параметров модели. Метод определяет оптимальные веса для удаления, вычисляя геодезическое расстояние до гиперповерхности, где значение параметра равно нулю, с помощью метрики Фишера.

В отличие от традиционного прунинга по величине весов (magnitude pruning), предложенный алгоритм учитывает реальное влияние удаления параметра на производительность модели. Исследователи протестировали метод на полносвязных сетях и Vision Transformers, используя наборы данных MNIST и CIFAR-10. Эксперименты проводились во всем диапазоне удаления параметров от 0% до 100% с использованием пяти различных случайных инициализаций.

Результаты показали, что новый подход превосходит стандартные методы прунинга по показателям точности и коэффициенту корреляции Мэтьюса во всех протестированных архитектурах. Авторы также разработали иерархию аппроксимаций геодезического расстояния, что позволяет создавать промежуточные схемы сжатия, сохраняющие высокую эффективность при сниженных вычислительных затратах.

Данная работа предоставляет теоретическое обоснование для процессов разреживания нейросетей, которые ранее часто опирались на эвристические методы. Математическая модель позволяет более точно предсказывать деградацию производительности при удалении конкретных нейронных связей, что критически важно для развертывания моделей на устройствах с ограниченными ресурсами. Исследование опубликовано под лицензией Creative Commons BY 4.0.