Разработчики представили CUA-S1 для ускорения инференса в macOS

Команда проекта CUA-S1 выпустила слой совместимости, который значительно повышает производительность LLM при работе в виртуальных машинах на macOS. Система оптимизирует взаимодействие с графическим API, позволяя моделям использовать аппаратные ресурсы Apple Silicon с минимальными потерями.

Технология обеспечивает ускорение инференса в 11–16 раз по сравнению со стандартными методами виртуализации. В ходе тестов на чипах M1 Ultra при запуске модели Gemma 4 12B система продемонстрировала производительность на уровне 98–99% от показателей «железа» без виртуализации. Такие результаты достигаются за счет прямого доступа к новым путям Metal, которые ранее были ограничены в гостевых ОС.

Решение ориентировано на разработчиков, использующих виртуальные среды для тестирования и развертывания AI-агентов, работающих с интерфейсом компьютера. Проект распространяется с открытым исходным кодом, что позволяет интегрировать слой совместимости в существующие стеки для автоматизации задач в macOS.

Оптимизация доступа к GPU через CUA устраняет критический барьер для запуска тяжелых моделей в изолированных средах. Это позволяет использовать виртуализацию для разработки и отладки AI-систем без существенного снижения скорости генерации токенов, что ранее было основным препятствием для подобных конфигураций.