Разработчики представили платформу Laya vs Jev для сравнения AI-агентов

Команда разработчиков выпустила Laya vs Jev — инструмент для прямого сравнения производительности двух AI-моделей в динамической среде. Система использует классическую игру Chrome T-Rex в качестве полигона для тестирования скорости реакции и принятия решений агентами в реальном времени.

Модель Laya работает полностью локально на устройствах с архитектурой Apple Silicon, используя фреймворк MLX для оптимизации вычислений. В свою очередь, Jev функционирует через облачный API от компании TypeSafe, что позволяет оценивать разницу между локальным инференсом и сетевыми запросами.

Интерфейс платформы предоставляет пользователям инструменты для глубокого анализа работы агентов. В состав функционала входят графики live latency, отображающие задержки при передаче данных, а также система crash replays, которая позволяет покадрово изучить моменты ошибок или «смерти» персонажа в игре.

Проект нацелен на демонстрацию различий в архитектурных подходах к AI-агентам. Использование игры с высокой частотой обновления кадров позволяет наглядно увидеть, как именно аппаратное ускорение на чипах Apple и сетевые задержки API влияют на итоговый результат и стабильность поведения модели в условиях ограниченного времени на принятие решения.