Исследователи научили GPT-6 Astra напрямую редактировать веса других моделей

Исследователи из MIT представили метод, позволяющий модели GPT-6 Astra напрямую изменять веса других нейросетей без необходимости проведения традиционного процесса дообучения (fine-tuning).

В ходе эксперимента модель Astra успешно оптимизировала работу Qwen, повысив точность решения математических задач с 7,9% до 48,1%. Для достижения такого результата потребовалось изменить лишь 0,016% от общего количества весов целевой модели. Этот подход позволяет вносить точечные корректировки в поведение нейросетей, минуя стандартные вычислительные затраты на обучение.

Несмотря на высокую эффективность, технология имеет четко выраженные ограничения и не является универсальным решением для всех типов архитектур. Метод демонстрирует возможность прямого вмешательства в структуру нейросетей, что может упростить процессы оптимизации и настройки моделей в будущем.