Исследователи представили метод RBS-Attention для ускорения префилла LLM

Группа исследователей разработала RBS-Attention — метод разреженного префилла, который решает проблему «размытия среднего» при обработке длинных контекстов в больших языковых моделях. Технология использует двухветвевую систему выбора блоков: базовая ветвь определяет среднюю релевантность, а «спасательная» ветвь выявляет токены, которые могут быть ошибочно проигнорированы стандартными методами разреженного внимания.

Метод не требует дополнительного обучения и сохраняет совместимость с механизмом FlashAttention. В ходе тестирования на GPU H100 при работе с контекстом 128K на модели Qwen3-30B-A3B-Instruct-2507-FP8, решение продемонстрировало 20.65-кратное ускорение standalone-префилла и 11.92-кратное ускорение при использовании движка vLLM. Показатель времени до первого токена (TTFT) сократился в 5.97 раза.

Точность модели при использовании RBS-Attention остается сопоставимой с плотным вниманием. На бенчмарке RULER модель Qwen3-32B показала результат 88.65 против 89.52 у стандартной архитектуры. Дополнительная проверка качества проводилась на наборах данных LongBench-v2, InfiniteBench и Video-MME.

Использование разреженного внимания позволяет значительно снизить вычислительные затраты на этапе обработки промпта, который является «узким местом» при работе с длинными документами. Новый подход позволяет динамически адаптировать выбор блоков в зависимости от слоя, головы внимания и структуры самого промпта, что делает его эффективным инструментом для развертывания моделей с поддержкой длинного контекста в продакшене.