Исследователи оценили эффективность управления признаками CLT

Исследователи проанализировали возможности CLT (Contrastive Latent Training) в задачах манипуляции внутренними состояниями нейросетей. В ходе эксперимента проверялась способность метода manifold steering изменять поведение модели через воздействие на пространство признаков.

Результаты показали, что хотя CLT-признаки поддерживают управление, они генерируют значительно более слабые сигналы по сравнению с манипуляциями на уровне «сырых» активаций нейронов. В частности, при попытке извлечь или изменить специфический сигнал, такой как «день недели», модель продемонстрировала лишь частичную эффективность. Это указывает на то, что текущие представления в CLT-пространстве содержат лишь фрагментарные данные о целевых концептах.

Эксперимент подтвердил, что использование CLT-признаков для точного контроля над генерацией требует доработки механизмов интерпретируемости. В отличие от прямого воздействия на активации, где сигнал управления остается выраженным, в CLT-пространстве происходит существенная потеря интенсивности управляющего воздействия. Данные выводы важны для понимания того, как именно обучающие методы влияют на структурирование знаний внутри скрытых слоев архитектур.

Исследование подчеркивает разрыв между теоретической возможностью управления признаками и их практической применимостью в реальных задачах. Полученные метрики указывают на необходимость поиска более устойчивых способов кодирования информации, которые позволят сохранять целостность сигналов при выполнении операций в латентном пространстве.