Исследователи представили метод VRR для улучшения ответов LLM через верификацию

Исследователи опубликовали работу, описывающую метод LLM-as-an-Improver, который позволяет моделям не просто выбирать лучший ответ из предложенных, а активно улучшать их качество. Новый подход, получивший название Verify--Repair--Reselect (VRR), использует обратную связь от верификатора для генерации более точных альтернатив в процессе вывода.

В отличие от стандартных методов, где верификация ограничивается ранжированием фиксированного набора кандидатов, VRR сохраняет наиболее перспективный вариант и инициирует создание трех дополнительных решений. Алгоритм включает исправление ошибок в текущем лидере и втором по качеству ответе, а также генерацию принципиально нового подхода. Система автоматически отфильтровывает невалидные и дублирующиеся варианты, используя исключительно данные, доступные во время инференса.

Тестирование на различных бенчмарках по написанию кода и логическому мышлению показало, что метод превосходит традиционные стратегии выбора из фиксированного пула. VRR способен восстанавливать правильные ответы даже в тех случаях, когда все первоначально сгенерированные варианты содержали ошибки. Это позволяет повысить общую надежность моделей без необходимости дообучения или изменения архитектуры самих весов.

Результаты исследования подчеркивают, что обратная связь от верификатора может служить инструментом для конструирования более сильных кандидатов, а не только для фильтрации существующих. Работа опубликована под лицензией Creative Commons Attribution 4.0, что позволяет использовать предложенные алгоритмы в сторонних разработках для повышения точности LLM.