Разработчики представили компактную MoE-модель Edge0-35B-A3B-preview

Команда разработчиков выпустила Edge0-35B-A3B-preview — новую языковую модель архитектуры Mixture-of-Experts с общим количеством параметров 35 миллиардов. Проект набрал более 1200 звезд на платформе Hugging Face всего за 44 часа после публикации.

Ключевой особенностью модели является оптимизация для работы на устройствах с ограниченными ресурсами. Система потребляет менее 3 ГБ активной оперативной памяти, что позволяет запускать её на потребительском оборудовании. При использовании фреймворка edge0 модель демонстрирует скорость генерации около 15 токенов в секунду.

В ходе тестирования разработчики зафиксировали потерю качества ответов на уровне 3.9 пункта по сравнению с полноразмерными аналогами. Такие показатели достигаются за счет специфической конфигурации экспертов, которая минимизирует вычислительную нагрузку при сохранении логических способностей модели.

Релиз ориентирован на сценарии локального использования, где критически важны низкое потребление VRAM и высокая скорость отклика. Модель доступна для загрузки в репозитории проекта, где также представлены инструкции по интеграции в существующие пайплайны инференса.