Исследователи обнаружили скрытые модели GPT-2 внутри архитектур Qwen

Исследователи проанализировали внутренние механизмы современных LLM и выявили признаки наличия «встроенных» копий более ранних моделей. В ходе экспериментов выяснилось, что нейросети семейства Qwen способны предсказывать продолжения текста, которые статистически ближе к выводам модели GPT-2, чем к собственным естественным ответам архитектуры.

В рамках тестирования авторы сопоставляли логиты и скрытые состояния моделей при генерации идентичных промптов. Результаты показали, что активации Qwen демонстрируют высокую корреляцию с внутренними представлениями GPT-2 на определенных этапах обработки данных. Это указывает на то, что в процессе обучения на огромных массивах данных, включающих тексты, сгенерированные старыми моделями, современные LLM формируют специфические внутренние структуры для имитации поведения своих предшественников.

Данный феномен подтверждает гипотезу о том, что модели не просто усваивают факты, но и «запоминают» стилистические и логические паттерны других алгоритмов, встречающихся в обучающей выборке. Это создает эффект «матрешки», где внутри сложной архитектуры скрываются упрощенные модели, активирующиеся при определенных контекстных запросах.

Обнаружение таких скрытых компонентов позволяет по-новому взглянуть на интерпретируемость нейросетей. Понимание того, как именно современные модели «эмулируют» работу старых систем, может помочь в разработке методов борьбы с галлюцинациями и повышении точности предсказаний, исключая влияние заученных паттернов менее совершенных алгоритмов.