Cactus Compute представила компактную модель needle3 для мобильных устройств

Компания Cactus Compute выпустила needle3 — специализированную фундаментную модель, разработанную для работы непосредственно на мобильных устройствах. Вес модели варьируется от 9 до 35 МБ, что позволяет интегрировать её в приложения с ограниченными аппаратными ресурсами без необходимости обращения к облачным серверам.

Архитектура needle3 оптимизирована для выполнения трех ключевых задач: вызова внешних инструментов, структурированного извлечения данных и создания текстовых эмбеддингов. В ходе внутренних тестов модель продемонстрировала оценку 9 баллов при выполнении задач за 1 час, что, по заявлению разработчиков, позволяет ей превосходить более крупные аналоги в узкоспециализированных сценариях использования.

Модель поддерживает гибкую настройку через fine-tuning и методы квантования, что упрощает её адаптацию под конкретные бизнес-задачи. Благодаря минимальному размеру, needle3 обеспечивает низкую задержку при обработке запросов, сохраняя при этом высокую точность извлечения информации из неструктурированных данных.

Релиз ориентирован на разработчиков мобильного ПО, которым требуется внедрение AI-функций с соблюдением приватности данных пользователя. Использование локальных вычислений исключает передачу конфиденциальной информации на внешние серверы, что является критическим требованием для многих корпоративных и потребительских приложений.