Cactus Compute выпустила серию компактных моделей Needle 3

Компания Cactus Compute представила линейку специализированных моделей Needle 3, предназначенных для автоматизации задач на устройствах с ограниченными ресурсами. Вес представленных нейросетей варьируется от 8 до 29 МБ, что позволяет интегрировать их в смартфоны, носимую электронику и робототехнические системы.

Технические характеристики Needle 2, предшественника новой серии, демонстрируют высокую производительность на аппаратном уровне. Модель с 45 млн параметров и размером 14 МБ способна генерировать текст со скоростью более 500 токенов в секунду на одноплатном компьютере Raspberry Pi 5. На бюджетных смартфонах стоимостью менее $200 показатели скорости варьируются от 300 до 700 токенов в секунду.

Разработчики заявляют, что по уровню эффективности в задачах автоматизации Needle 3 сопоставима с моделью DeepSeek V4 Flash. Столь малый объем весов достигается за счет глубокой оптимизации архитектуры под специфические сценарии использования, где критически важна низкая задержка и минимальное потребление оперативной памяти.

Данный релиз ориентирован на разработчиков, создающих автономных AI-агентов для локального исполнения. Использование подобных моделей исключает необходимость обращения к облачным API, обеспечивая приватность данных и работу системы без постоянного подключения к сети. Подробные технические дискуссии и отзывы сообщества доступны на платформе Hacker News.