Исследователи представили бенчмарк CommentBench для оценки AI-комментариев

Исследователи опубликовали CommentBench — специализированный набор тестов для оценки способности языковых моделей имитировать человеческие комментарии к публикациям по теме AI-безопасности. Целью проекта стало определение того, насколько точно современные системы могут воспроизводить аргументацию и стиль экспертного сообщества.

В ходе тестирования различных архитектур лучшим результатом стала точность в 8,3%, которую продемонстрировала модель Fable 5. Остальные протестированные модели показали значительно более низкие показатели, что указывает на сложность задачи по генерации осмысленных и контекстуально верных ответов в узкоспециализированных дискуссиях.

Методология CommentBench предполагает сравнение сгенерированного текста с реальными комментариями пользователей на платформе LessWrong. Исследователи отмечают, что производительность моделей остается стабильной при изменении настроек генерации, однако общий уровень соответствия человеческому стилю остается крайне низким даже для передовых систем.

Результаты исследования подчеркивают разрыв между способностью моделей к общей генерации текста и их умением вести глубокую дискуссию по вопросам безопасности. Данный бенчмарк позволяет количественно измерить прогресс в области понимания контекста и аргументации, что критически важно для разработки систем, способных участвовать в экспертных обсуждениях.