Маракуйя ИИ прошла тесты Terminal-Bench 4 и OSWorld 2

Команда разработчиков Маракуйя ИИ представила результаты тестирования своей агентной системы в специализированных средах Terminal-Bench 4 и OSWorld 2. Эти бенчмарки оценивают способность ИИ-агентов выполнять комплексные задачи в реальной операционной системе, включая работу с консолью, управление файловыми пайплайнами и автоматизацию бизнес-процессов.

В ходе испытаний агентная обвязка продемонстрировала высокую автономность при решении прикладных задач. В отличие от стандартных чат-ботов, тестируемая система должна была не просто генерировать текст, а создавать работающие артефакты: исправлять ошибки в серверных скриптах, обрабатывать данные из почтовых клиентов и сводить финансовые таблицы. Результаты показали способность модели к многошаговому планированию и корректному взаимодействию с интерфейсом командной строки.

Бенчмарк OSWorld 2 является одним из наиболее строгих стандартов в индустрии, так как он имитирует реальную рабочую среду пользователя. Успешное прохождение таких тестов подтверждает готовность агентных систем к автоматизации рутинных операций системного администрирования и офисной работы. Использование подобных инструментов позволяет объективно сравнивать эффективность отечественных разработок с мировыми аналогами в условиях, приближенных к реальной эксплуатации.

Данные тесты подчеркивают переход от простых текстовых моделей к полноценным агентам, способным управлять вычислительными ресурсами. Дальнейшее развитие подобных систем направлено на повышение надежности выполнения команд и минимизацию ошибок при работе с файловой системой и внешними API.