Исследователи представили модуль CRN v2 для коррекции ошибок в LLM

Группа исследователей опубликовала работу Safe Error Correction for Language Models, в которой представила модуль CRN v2 для исправления ошибок в ответах замороженных языковых моделей. Система позволяет корректировать логиты без необходимости дообучения базовой архитектуры, что предотвращает потерю исходных навыков модели.

Модуль CRN v2 содержит 34 млн обучаемых параметров, что составляет всего 0,73% от объема базовой модели Gemma 4 E2B (4,65 млрд параметров). Обучение проводилось на наборе из 83 400 пар данных с использованием метода DPO (Direct Preference Optimization). В ходе тестов на экзамене CEHRI система исправила 53,3% ошибок базовой модели, сохранив при этом производительность на бенчмарках MMLU и BoolQ.

Авторы сравнили решение с методом LoRA, который при аналогичном бюджете параметров (6,6 млн) демонстрирует более высокую точность коррекции (83,3%), но приводит к деградации базовых способностей модели на 30–75%. Ключевым фактором успеха CRN v2 стало использование коэффициента KL-дивергенции (lambda=0.1), который удерживает модель от отклонения от исходных весов при внесении правок.

Исследование подтверждает, что использование замороженной базы в сочетании с внешним корректирующим слоем является эффективным способом повышения надежности LLM. Исходный код и веса модели доступны по лицензии CC BY 4.0 для дальнейшего тестирования в прикладных задачах.