Разработчики представили компактную модель BananaMind-2-Pro

Команда разработчиков выпустила BananaMind-2-Pro — новую языковую модель с архитектурой decoder-only. Релиз ориентирован на создание эффективных решений для задач, требующих высокой скорости обработки данных при ограниченных вычислительных ресурсах.

Модель содержит 139 млн параметров и поддерживает контекстное окно размером 3 072 токена. В процессе обучения использовался датасет объемом 100 млрд токенов. По заявлению авторов, модель демонстрирует прирост производительности в тестах ARC и HellaSwag по сравнению с архитектурой GPT-2 и предыдущей версией BananaMind-2-Medium.

Технические характеристики позволяют развертывать модель на потребительском оборудовании. Время обучения составило 1 час, в ходе которого модель набрала 35 баллов по внутренней метрике эффективности. Исходный код и веса модели уже доступны для загрузки в репозитории на платформе Hugging Face.

Выпуск BananaMind-2-Pro расширяет линейку компактных моделей, предназначенных для локального инференса. Подобные решения позволяют снизить задержки при выполнении базовых NLP-задач, исключая необходимость обращения к облачным API для простых текстовых операций.