Разработчик представил Mini-AGI с обучением на 8 ГБ VRAM

Разработчик представил Mini-AGI — экспериментальную модель с архитектурой непрерывного обучения, способную функционировать на потребительском оборудовании с 8 ГБ VRAM. Проект ориентирован на работу с байтовым уровнем данных и оптимизацию ресурсов при ограниченной видеопамяти.

Ключевой особенностью системы является механизм подкачки весов с диска, что позволяет обходить аппаратные ограничения при выполнении вычислений. Модель использует адаптивную глубину и систему маршрутизации экспертов (MoE), обеспечивая динамическое распределение вычислительной нагрузки в процессе обучения.

На текущем этапе проект позиционируется как исследовательский эксперимент, а не как конкурент фронтирным моделям. Исходный код доступен в открытом репозитории, где также ведется обсуждение архитектурных решений и методов оптимизации памяти для локального запуска нейросетей.

Техническая реализация Mini-AGI демонстрирует возможность реализации сложных алгоритмов обучения на доступном железе. Подробности реализации и текущие показатели производительности модели обсуждаются в профильном сообществе на Hacker News.

Разработка подобных решений позволяет снизить порог входа для обучения нейросетей, требующих ранее серверных мощностей. Использование подкачки весов и адаптивных слоев открывает путь к созданию более компактных и эффективных систем, способных к дообучению в реальном времени без значительных затрат на инфраструктуру.