Исследователи представили архитектуру Infinite-Parameter LLM

Исследователи опубликовали работу, описывающую концепцию Infinite-Parameter LLM — архитектуру, способную адаптировать веса модели в режиме реального времени на основе поступающих данных. В отличие от традиционных подходов, система использует компактную гиперсеть для генерации параметров «на лету».

Основная особенность метода заключается в возможности дообучения и сохранения новых знаний без необходимости расширения физического хранилища модели. Гиперсеть динамически вычисляет веса, что позволяет системе эффективно обрабатывать поток пользовательской информации, сохраняя при этом фиксированный размер базовой инфраструктуры.

В ходе экспериментов авторы продемонстрировали, что такой подход позволяет модели адаптироваться к новым доменам данных с минимальными вычислительными затратами. Использование гиперсетей для генерации весов снижает требования к памяти при обновлении знаний, так как изменения вносятся на уровне генератора, а не через полное переобучение или хранение огромных массивов LoRA-адаптеров.

Технология ориентирована на сценарии, где требуется непрерывное обучение модели без остановки инференса. Подробные математические выкладки и результаты тестирования производительности доступны в официальной публикации. Обсуждение технических аспектов реализации архитектуры ведется в сообществе Hacker News.

Данная разработка меняет подход к жизненному циклу LLM, позволяя создавать системы с «бесконечной» емкостью обучения. Это исключает необходимость периодического дообучения (fine-tuning) для актуализации базы знаний модели, что критически важно для динамических сред и персональных AI-ассистентов.