Разработчики представили движок Laya-coreml для Apple Silicon

Разработчики выпустили Laya-coreml — специализированный движок для локального запуска моделей с открытыми весами на устройствах Apple Silicon. Инструмент использует возможности фреймворка Core ML и встроенного в чипы Apple Neural Engine для оптимизации вычислений.

В ходе тестов на чипе M3 Max решение продемонстрировало задержку 4.98 мс (показатель P50). Разработчики заявляют, что энергоэффективность инструмента в 2.78 раза выше по сравнению с аналогичными задачами, выполняемыми через библиотеку MLX.

Проект ориентирован на выполнение типизированных задач принятия решений (typed decisions) непосредственно на железе пользователя. Использование аппаратного ускорения Neural Engine позволяет снизить нагрузку на графический процессор и центральный CPU, что критично для автономной работы приложений на macOS.

Код проекта доступен в открытом репозитории на GitHub под лицензией, позволяющей интеграцию в сторонние локальные AI-сервисы. Инструмент предназначен для разработчиков, которым требуется высокая скорость инференса при минимальном потреблении заряда аккумулятора на ноутбуках Apple.

Релиз расширяет экосистему инструментов для локального AI, предлагая альтернативу существующим решениям на базе MLX. Переход на нативный Core ML позволяет более эффективно распределять вычислительные ресурсы при работе с моделями, требующими низкой задержки отклика.