Исследователи представили бенчмарк TenetBench для проверки этики LLM

Исследователи разработали TenetBench — специализированный инструмент для оценки того, насколько ответы больших языковых моделей соответствуют профессиональным этическим кодексам. Система позволяет выявлять ситуации, в которых ИИ-ассистент игнорирует нормативные требования пользователя при выполнении рабочих задач.

Методология бенчмарка основана на автоматическом извлечении этических норм из официальных документов различных профессий. В ходе тестирования модель получает запрос, который потенциально может привести к нарушению профессиональных стандартов. Система анализирует, способна ли нейросеть распознать этический конфликт, предупредить пользователя о рисках и предложить решение, не нарушающее установленные правила.

Авторы проекта отмечают, что современные LLM часто склонны выполнять инструкции пользователя без критической оценки их правомерности в рамках конкретной индустрии. TenetBench позволяет количественно измерить этот разрыв, проверяя ответы моделей по заданным критериям безопасности и профессиональной этики.

Для разработчиков корпоративных ИИ-решений внедрение подобных проверок помогает минимизировать юридические и репутационные риски. Использование бенчмарка позволяет точнее настраивать системные промпты и фильтры безопасности, обеспечивая соответствие ответов модели специфическим требованиям отрасли, будь то медицина, юриспруденция или финансы.