SpeckLabs представила компактную модель Speck2-140M

Компания Speck2-140M выпустила новую базовую языковую модель, ориентированную на эффективную работу с английским языком. Архитектура системы включает 140 миллионов параметров, что делает её пригодной для запуска на устройствах с ограниченными вычислительными ресурсами.

В основе модели лежит комбинация механизмов grouped-query attention и gated convolution. Обучение проводилось на корпусе объемом 20 миллиардов токенов. Разработчики подтвердили корректность работы системы при использовании метода жадной декодировки (greedy decoding), что обеспечивает предсказуемость генерации текста.

Модель доступна для интеграции через библиотеку Transformers. Для загрузки весов в коде необходимо использовать параметр trust_remote_code=True, так как архитектура требует специфических настроек для корректной инициализации слоев свертки и внимания.

Выпуск подобных компактных решений позволяет внедрять языковые возможности непосредственно в локальные приложения без необходимости обращения к облачным API. Низкое количество параметров обеспечивает высокую скорость инференса, что критично для задач, требующих минимальной задержки при обработке текстовых запросов.