Исследователи представили метод обучения моделей с учетом индивидуальных предпочтений

Ученые представили новый подход к обучению моделей на основе обратной связи, который учитывает гетерогенность человеческих предпочтений вместо использования универсальной функции полезности. Исследование, опубликованное в статье на arXiv, предлагает архитектуру для оценки индивидуализированных функций полезности, зависящих от контекста принятия решений.

В рамках работы был собран масштабный набор данных, включающий более 575 000 парных эстетических оценок. В эксперименте приняли участие 2 398 человек, которые оценивали дизайн автомобильных дисков. Использование индивидуализированных моделей позволило существенно превзойти показатели стандартных универсальных моделей полезности, включая базовые решения на основе foundation-моделей.

Авторы доказали, что расхождения в оценках между пользователями являются не «шумом» в данных, а отражением значимой гетерогенности предпочтений. Предложенная многоэтапная архитектура позволяет модели явно учитывать, чьи именно предпочтения она представляет, что повышает точность предсказаний в субъективных доменах.

Результаты исследования подчеркивают необходимость сбора атрибутов аннотаторов для более точного обучения reward-моделей. Такой подход позволяет создавать системы, которые более достоверно отражают разнообразие человеческого выбора, что критически важно для развития персонализированных AI-инструментов в будущем.

Материалы исследования доступны под лицензией Creative Commons BY-NC-ND 4.0. Данная работа меняет подход к обработке данных RLHF, переводя фокус с усредненных значений на моделирование индивидуальных профилей пользователей.