Исследователи доказали влияние SFT на разнообразие ответов LLM

Исследователи опубликовали работу Fine-Tuning Fixes Mode Collapse and Over-Dispersion in LLMs, в которой проанализировали причины потери разнообразия ответов в больших языковых моделях. Авторы установили, что склонность моделей к «схлопыванию мод» (mode collapse) или избыточной дисперсии напрямую зависит от качества и объема данных для дообучения.

В ходе эксперимента ученые использовали три типа моделей: малые трансформеры на синтетических языках, четыре LLM, дообученные на результатах опросов, и те же модели, настроенные на датасете CodeNet. Для оценки результатов применялась метрика вероятности совпадения ответов на идентичные промпты. Выяснилось, что при достаточном объеме данных для SFT (supervised fine-tuning) разнообразие ответов модели стремится к показателям целевого распределения.

Теоретический анализ показал, что абсолютный разрыв в разнообразии ограничен квадратным корнем из дивергенции Кульбака-Лейблера (KL divergence) между моделью и целевым распределением. Это означает, что модель, приближенная к оптимальному состоянию по кросс-энтропии, не может демонстрировать произвольно искаженное разнообразие ответов.

Математическая модель авторов доказывает, что SFT не имеет встроенного смещения в сторону однообразия или хаотичности. Ошибки в генерации возникают из-за ограниченности выборки при обучении. Увеличение объема целевых данных позволяет эффективно корректировать калибровку модели, приближая её поведение к человеческим или заданным эталонным ответам.

Результаты исследования предоставляют новый инструмент для диагностики моделей. Теперь разработчики могут использовать предложенную формулу для оценки того, насколько текущий процесс дообучения способствует деградации разнообразия, и определять необходимый объем данных для достижения стабильных результатов.