Strata позволяет запустить нейросеть на 125 млрд параметров локально

Разработчики представили опенсорс-инструмент Strata, который дает возможность запускать крупные языковые модели прямо на домашнем игровом компьютере. Решение позволяет использовать нейросеть Qwen3.8-Flash-Next на видеокартах, оснащенных всего 8 ГБ видеопамяти.

Несмотря на компактные требования к «железу», модель обладает внушительным объемом в 125 миллиардов параметров. Функционал нейросети включает в себя ведение диалогов, написание программного кода, а также анализ и обработку изображений.

Ключевым преимуществом использования Strata является полная локализация данных. Вся информация остается на устройстве пользователя, что исключает риски утечки данных, блокировки аккаунтов или применения внешней цензуры к ответам модели.

Запуск подобных систем на потребительском оборудовании делает мощные инструменты искусственного интеллекта доступными для частных пользователей, обеспечивая приватность и независимость от облачных сервисов.