Исследователи представили бенчмарк TranSGrid для оценки системного обобщения

Группа исследователей представила TranSGrid — новый тестовый набор, предназначенный для оценки способностей нейросетей к системному обобщению через объединение дедуктивного, индуктивного и абдуктивного типов рассуждений. Авторы работы утверждают, что существующие бенчмарки слишком упрощают задачу, полагаясь на линейную композицию действий и явные цели, что не позволяет полноценно проверить когнитивные навыки моделей.

В ходе экспериментов семь различных архитектур Transformers были протестированы на 4800 задачах из набора TranSGrid. Результаты показали значительный разрыв в производительности: если на стандартных тестовых выборках крупнейшая модель демонстрирует точность 79,6%, то в условиях TranSGrid этот показатель падает до 55,3%. На наиболее сложных подмножествах задач эффективность модели снижается до 15,8%.

Исследование доказывает, что текущие методы оценки, фокусирующиеся исключительно на продуктивности, недостаточны для измерения реального системного обобщения. Когда авторы искусственно упрощали задачи в TranSGrid, делая композицию действий линейной или задавая цели в явном виде, показатели успеха моделей возвращались к привычным высоким значениям. Это подтверждает, что именно индуктивные и абдуктивные требования являются критическими барьерами для современных систем.

Работа подчеркивает необходимость перехода к более комплексным методам тестирования, которые требуют от нейросетей одновременного применения всех трех форм логического вывода. Полученные данные указывают на то, что текущие архитектуры все еще испытывают трудности с решением принципиально новых задач, требующих комбинирования известных элементов в нестандартных условиях.