Nvidia представила систему SoL-Pi для сокращения токенов у ИИ-агентов

Исследователи Nvidia разработали систему SoL-Pi, которая снижает потребление токенов программирующими ИИ-агентами почти на 49%. При этом производительность моделей остается на прежнем уровне за счет оптимизации управляющего слоя между самой нейросетью и её рабочей средой.

Для создания системы специализированный исследовательский агент протестировал 152 подхода в ходе более чем 3 000 запусков. Оптимизация затрагивает так называемый harness — окружение и набор инструкций, через которые агент взаимодействует с файловой системой и терминалом.

На ключевых бенчмарках сокращение расхода токенов достигло заявленных 49 процентов, однако на других тестах показатели оказались скромнее. Разработка призвана существенно снизить финансовые затраты на выполнение долгих задач по написанию и отладке кода автономными агентами.

Новый подход позволяет эффективнее использовать контекстное окно и уменьшить накладные расходы на служебные запросы, что критично для масштабирования систем разработки ПО на базе искусственного интеллекта.