Представлен метод Hybrid Reasoning Agents для ускорения работы ИИ-агентов

Исследователи представили архитектуру Hybrid Reasoning Agents, которая позволяет нейросетевым агентам выполнять логические вычисления в латентном пространстве, сохраняя текстовый интерфейс для взаимодействия с пользователем. Новый подход направлен на оптимизацию вычислительных ресурсов при сохранении высокой точности ответов.

Согласно результатам тестирования, использование гибридной модели позволяет сократить количество используемых токенов на 35–55%. При этом скорость инференса возрастает до 2.6 раза по сравнению со стандартными методами обработки запросов. Авторы отмечают, что внедрение данной архитектуры также обеспечивает повышение производительности агентов на 10.4% в специализированных задачах.

Технология работает за счет разделения процессов: глубокие рассуждения происходят внутри скрытых слоев модели, а внешние действия и коммуникация остаются в текстовом виде. Это позволяет избежать избыточных затрат на генерацию промежуточных рассуждений в виде токенов, которые обычно потребляют значительную часть вычислительной мощности при работе агентов.

Данное решение может существенно изменить подход к разработке автономных систем, где критически важны низкая задержка и экономия токенов. Подробные технические детали и результаты бенчмарков доступны в опубликованной научной работе.