OpenAI уволила подрядчиков за использование AI при разметке данных

Компания OpenAI расторгла контракты с группой сотрудников, которые использовали сторонние AI-инструменты для выполнения задач по обучению и разметке моделей. Инцидент произошел в рамках программы по улучшению качества ответов нейросетей, где люди должны были вручную проверять и корректировать сгенерированный контент.

Согласно внутренним отчетам, подрядчики применяли автоматизированные системы для генерации ответов, которые затем выдавали за результаты собственного труда. Использование AI для выполнения задач по разметке нарушает протоколы безопасности компании, так как это приводит к попаданию синтетических данных в обучающие выборки, что может спровоцировать эффект «модельного коллапса».

В обсуждениях эксперты отмечают, что подобные действия снижают точность RLHF (обучения с подкреплением на основе отзывов людей). Когда модель обучается на данных, созданных другой моделью, она начинает наследовать ошибки и галлюцинации предшественника, что делает итоговый результат менее надежным для конечных пользователей.

На текущий момент OpenAI усилила контроль за процессом верификации данных. Компания требует, чтобы все этапы обучения, связанные с оценкой качества, проходили исключительно с участием человека, чтобы исключить риск деградации будущих версий моделей из-за «отравления» обучающего датасета автоматизированным контентом.