Исследователи представили бенчмарк Vibe Patenting для оценки AI-агентов

Группа исследователей представила Vibe Patenting — специализированный тестовый стенд для оценки качества работы AI-агентов при составлении патентной документации. Система использует метод «судьи-LLM», который анализирует черновики патентов и предоставляет структурированную обратную связь для итеративного улучшения текста.

В ходе тестирования выяснилось, что использование итеративной обратной связи позволяет менее мощным моделям достигать показателей, сопоставимых с дорогостоящими высокопроизводительными системами. Исследователи отметили, что без направляющих правок качество генерации быстро достигает «плато», тогда как агентные рабочие процессы с участием LLM-судьи обеспечивают стабильный прирост метрик.

Для проверки достоверности результатов авторы сравнили оценки AI с независимым анализом профессионального патентного поверенного. Выявлено, что автоматизированные метрики демонстрируют значимую, но сильно зависимую от конкретных критериев корреляцию с мнением эксперта, что указывает на необходимость калибровки моделей под специфические юридические стандарты.

Работа подчеркивает как потенциал, так и ограничения использования LLM в качестве арбитров для сложных профессиональных задач. Исследование доступно под лицензией arXiv, предоставляя разработчикам методологию для тестирования агентов в условиях жестких требований к точности и структуре документации.