Исследователи оценили эффективность метода R-Lens для моделей Qwen

Исследователи провели тестирование метода R-Lens, предназначенного для извлечения скрытых фактов из весов языковых моделей семейства Qwen. В ходе эксперимента оценивалась способность алгоритма ранжировать целевые слова по сравнению с существующим подходом J-Lens.

Результаты показали, что R-Lens демонстрирует более высокие показатели ранжирования целевых токенов. Однако контрольные замеры выявили, что преимущество метода напрямую коррелирует с частотностью слов в обучающей выборке, а не с глубиной извлечения специфических фактических знаний из параметров модели.

В рамках работы были проанализированы механизмы активации нейронов при запросах, направленных на поиск скрытой информации. Выяснилось, что статистические закономерности распределения токенов в Qwen оказывают большее влияние на результат, чем предполагаемые «скрытые знания», которые алгоритм пытается интерпретировать.

Данное исследование ставит под сомнение эффективность текущих методов интерпретируемости, основанных на прямом поиске фактов в весах. Полученные данные указывают на необходимость учета частотных искажений при разработке инструментов для анализа внутренней структуры LLM.