Представлен Python-рантайм arc-cua для управления интерфейсом macOS

Разработчики выпустили arc-cua — специализированный Python-рантайм, предназначенный для создания агентов, управляющих десктопными приложениями. Инструмент ориентирован на работу в среде macOS и обеспечивает низкую задержку при выполнении команд пользователя.

Архитектура системы разделяет высокоуровневые логические рассуждения и низкоуровневое взаимодействие с графическим интерфейсом. Для анализа состояния экрана используется встроенная система OCR, а для управления элементами — API доступности macOS. Это позволяет агенту считывать структуру окон и имитировать действия пользователя с высокой точностью.

В качестве стандартного бэкенда для принятия решений в arc-cua используется JEV. Такая связка позволяет делегировать сложные когнитивные задачи специализированным моделям, оставляя за рантаймом задачу технического исполнения кликов, ввода текста и навигации по меню.

Проект распространяется с открытым исходным кодом и предназначен для разработчиков, создающих автономных помощников для автоматизации рутинных операций на компьютере. Использование локальных инструментов обработки данных минимизирует задержки, возникающие при передаче скриншотов и команд на удаленные серверы.

Появление подобных решений упрощает создание агентов, способных взаимодействовать с любым ПО без необходимости интеграции через API. Разделение логики и исполнения является ключевым трендом в разработке систем компьютерного зрения и автоматизации рабочих процессов.