OpenAI представила бенчмарк MentalHealthBench

Компания OpenAI выпустила MentalHealthBench — специализированный бенчмарк, созданный в сотрудничестве с профильными экспертами. Инструмент предназначен для тестирования языковых моделей на безопасность и способность давать качественные, эмпатичные ответы в реалистичных диалогах о психическом здоровье.

Необходимость в специализированном тестировании вызвана тем, что стандартные тесты не способны адекватным образом оценивать риски при взаимодействии пользователей с чат-ботами на уязвимые темы. В ходе разработки эксперты сформировали набор сценариев, отражающих реальные обращения людей за психологической поддержкой, включая кризисные ситуации и депрессивные состояния.

Новый фреймворк измеряет уровень токсичности, склонность модели давать опасные медицинские советы или обесценивать проблемы пользователя. Разработчики делают акцент на снижении вероятности галлюцинаций в ситуациях, когда от точности формулировок зависит эмоциональное состояние человека.

Полученные метрики позволяют лабораториям точнее настраивать механизмы безопасности и фильтрации контента перед публичным релизом систем. Появление таких специализированных бенчмарков отражает смещение фокуса индустрии в сторону глубокой векторизации этических и социальных рисков использования генеративного искусственного интеллекта.