Исследователи предложили метод z-scoring для коррекции частотности токенов в LLM

Исследователи обнаружили, что смещение J-lens в языковых моделях напрямую коррелирует с частотой появления токенов в обучающей выборке. Применение метода z-scoring позволяет эффективно нивелировать это влияние, повышая точность генерации ответов.

В ходе экспериментов метод был протестирован на модели Gemma-2-9B-it, где удалось добиться заметного улучшения качества предсказаний. Кроме того, использование z-scoring позволило получить ненулевые показатели считывания (readouts) для компактной модели Qwen3-1.7B, которая ранее демонстрировала ограничения при стандартных методах анализа.

Технически процесс заключается в нормализации логитов на основе статистического распределения частотности токенов. Это позволяет модели «видеть» скрытые слова, которые ранее подавлялись из-за статистического перекоса в сторону наиболее частых токенов. Метод не требует дообучения весов и может быть применен на этапе инференса.

Данный подход решает проблему предвзятости моделей к высокочастотным токенам, что особенно актуально для небольших архитектур. Коррекция позволяет более эффективно извлекать информацию из скрытых слоев, расширяя возможности интерпретируемости нейросетей без изменения их базовой структуры.