Исследователи доказали эффективность маскировки данных для обучения AI

Группа ученых опубликовала результаты исследования, подтверждающие, что ограничение объема данных, доступных для обработки отдельными модулями системы, значительно улучшает их способность к композиционному обобщению. В ходе эксперимента использовались 60 систем, построенных на базе замороженной языковой модели, которые обменивались информацией через обучаемые непрерывные пакеты.

В рамках тестирования применялись различные условия маскировки доказательств, использование маркеров владения и замена внешних данных нейтральными заполнителями. При наличии маркеров маскировка данных повысила точность выполнения задач на 0,846 и 0,859 медианных баллов для композиций из двух и трех операций соответственно. Все 12 контрольных пар успешно прошли установленные пороги точности, подтвердив гипотезу о преимуществе ограниченного доступа к информации.

Исследователи провели аудит 18 систем с применением маскировки, в каждой из которых зафиксировали предсказанные изменения промежуточных значений при обработке данных. Несмотря на успех в тестах, влияние явных ролевых маркеров на поведение систем осталось не до конца изученным, так как ни одна из глобально видимых моделей не прошла проверку на следование маркерам.

Авторы работы предоставили открытый доступ к протоколам, результатам и чекпоинтам моделей в соответствии с лицензией arXiv. Полученные данные указывают на то, что архитектурные ограничения на видимость данных могут стать ключевым фактором в развитии более надежных и логически последовательных AI-систем, способных лучше справляться с новыми комбинациями задач.