Ginigen выпустила модель Edge-4B-TELL для оценки точности ответов

Компания Ginigen представила специализированную модель Edge-4B-TELL, предназначенную для оценки достоверности ответов в локальных средах. Система базируется на архитектуре Gemma-4B и дополнена линейным слоем считывания tell_probe.f32, который анализирует скрытые состояния нейросети.

Основная задача инструмента — определение корректности ответов без обращения к внешним системам верификации. В ходе тестирования на корейских вопросах о чрезвычайных ситуациях модель показала более высокую точность оценки, чем стандартные методы саморефлексии (self-reported confidence). При использовании порогового значения 0.25 система способна перенаправлять 60.9% ответов на резервный источник данных в случае низкой уверенности.

Модель оптимизирована для работы непосредственно на устройстве, что позволяет минимизировать задержки при обработке запросов. Использование tell_probe.f32 позволяет извлекать метаданные о качестве генерации напрямую из внутренних представлений модели, минуя необходимость в дополнительных промптах или повторных вызовах API.

Решение ориентировано на сценарии, где критически важна надежность ответов при ограниченных вычислительных ресурсах. Интеграция Edge-4B-TELL позволяет автоматизировать процесс фильтрации галлюцинаций, обеспечивая автоматический переход к более надежным источникам информации при обнаружении признаков ошибки в генерации.