Исследователи выявили критическую нестабильность результатов при тестировании LLM

Группа исследователей опубликовала результаты анализа экспериментов с промптами, которые демонстрируют высокую чувствительность моделей к незначительным изменениям в формулировках. В ходе работы было установлено, что даже нейтральные детали в запросах приводят к радикальным расхождениям в итоговых показателях производительности.

В рамках тестирования методологии «Peer Preservation» авторы зафиксировали, что изменение порядка слов или добавление второстепенных инструкций меняет поведение систем непредсказуемым образом. Результаты варьируются в зависимости от архитектуры модели, что ставит под сомнение воспроизводимость многих текущих бенчмарков, основанных на промпт-инжиниринге.

Исследование подчеркивает проблему «хрупкости» современных LLM, где малейшие отклонения в контекстном окне вызывают статистически значимые изменения в ответах. Это создает риски при оценке способностей моделей, так как текущие методы тестирования часто не учитывают вариативность, вызванную случайными деталями в структуре запроса.

Полученные данные указывают на необходимость стандартизации протоколов оценки, чтобы исключить влияние «шума» на итоговые метрики. Для новых исследователей это означает переход к более строгим методам верификации, где стабильность результата при минимальных изменениях промпта становится ключевым критерием качества модели.