Представлена модель ZTC-Judge-27B для оценки уверенности ответов

Разработчики представили ZTC-Judge-27B — специализированную модель, предназначенную для автоматической оценки качества ответов других нейросетей. Инструмент использует метод «нулевой уверенности токенов» (zero-token confidence), позволяя выставлять оценки в рамках одного прямого прохода (forward pass).

Модель демонстрирует показатель 0.7282 AUC на ранее не встречавшихся доменах. В ходе тестирования система показала преимущество над стандартными поверхностными методами оценки (surface baselines) по пяти различным категориям задач. Процесс оценки одного ответа занимает около 1 часа, при этом модель достигает результата в 14 баллов по внутренней шкале эффективности.

Архитектура ZTC-Judge-27B оптимизирована для работы в качестве независимого судьи, который не требует дополнительных итераций или сложных промптов для верификации контента. Исходный код и веса модели уже доступны для загрузки на платформе Hugging Face.

Внедрение подобных инструментов позволяет автоматизировать контроль качества генеративных систем без привлечения человеческих ресурсов. Использование модели в пайплайнах разработки помогает точнее определять галлюцинации и ошибки в ответах LLM, обеспечивая более строгую фильтрацию контента в реальном времени.