Bench Labs выпустила компактную модель Cagliostro-v3

Компания Bench Labs представила Cagliostro-v3 — новую decoder-only модель, оптимизированную для работы с ограниченными вычислительными ресурсами. Архитектура системы насчитывает 146 миллионов параметров, что относит её к категории компактных языковых моделей (SLM).

Процесс предварительного обучения модели проводился на массиве данных объемом 75 миллиардов токенов. На текущий момент завершено обучение на 72,7 миллиарда токенов. Разработчики присвоили модели индекс Open SLM Index, который составляет 26,27, что позволяет оценить её эффективность в сравнении с аналогичными решениями на рынке.

В ходе тестирования Cagliostro-v3 продемонстрировала лидерство в бенчмарке ArithMark-3, специализирующемся на проверке математических способностей нейросетей. При этом в тестах на логическое мышление и здравый смысл, таких как PIQA, модель показывает результаты ниже ожидаемых показателей для своего класса.

Выпуск модели направлен на развитие сегмента легковесных систем, способных выполнять специализированные задачи без необходимости развертывания тяжелых инфраструктурных решений. Исходный код и веса модели уже доступны для загрузки в репозитории на платформе Hugging Face.