Исследователи представили архитектуру без внимания на потоках Грассманна

Исследователи представили новую архитектуру Attention Is Not What You Need, полностью отказывающуюся от стандартных механизмов внимания в пользу геометрического подхода на основе потоков Грассманна.

Разработка предлагает структурированный подход к моделированию последовательностей, заменяя привычные вычисления матриц внимания на математические операции в многомерных пространствах подпространств. Такой подход позволяет уйти от квадратичной сложности вычислений, сохраняя при этом выразительность моделей.

В ходе экспериментов новая архитектура протестирована на стандартных текстовых бенчмарках Wikitext-2 и SNLI. Результаты показали, что безаттенционная модель способна полностью соответствовать уровню производительности классических Transformer на этих задачах.

Предложенный метод открывает возможности для создания более эффективных и легко интерпретируемых языковых моделей, снижая вычислительные затраты при обработке длинных последовательностей.