Laya адаптировали для работы на чипах Apple M4 через CoreML

Разработчики представили способ запуска многоязычной модели Laya на компьютерах Mac с процессорами M4 с использованием фреймворка CoreML. Оптимизация позволяет выполнять вычисления полностью локально без обращения к облачным серверам.

В ходе тестов система продемонстрировала производительность на уровне 45 решений в секунду. Для достижения таких показателей был подготовлен специализированный shell-скрипт, который конвертирует веса модели и настраивает среду исполнения для эффективного использования нейронного движка Apple Neural Engine.

Процесс интеграции включает подготовку модели для работы в формате CoreML, что минимизирует задержки при обработке запросов. Использование локальных ресурсов позволяет сохранять конфиденциальность данных, так как все операции по принятию решений происходят непосредственно на устройстве пользователя.

Данное решение ориентировано на разработчиков, которым требуется высокая скорость отклика при работе с интеллектуальными агентами в офлайн-режиме. Подробные инструкции по настройке окружения и запуску скрипта доступны в публичном репозитории, где также обсуждаются технические нюансы оптимизации под архитектуру Apple Silicon.

Перенос моделей на локальное железо с поддержкой аппаратного ускорения становится стандартом для задач, требующих минимальной латентности. Использование CoreML позволяет максимально задействовать возможности чипов M4, обеспечивая высокую пропускную способность при низком энергопотреблении по сравнению с запуском на CPU или дискретных GPU.