DeepSeek представила модель v4.1 Flash с 4-кратным сжатием KV-кэша

Разработчики представили DeepSeek-v4.1 Flash — обновленную версию архитектуры, ориентированную на экстремальную оптимизацию работы с контекстом. Модель достигает скорости генерации в 420 токенов в секунду, сохраняя при этом высокую точность обработки данных.

Ключевым нововведением стало внедрение технологии CSA2, которая обеспечивает 4-кратное сжатие KV-кэша. Архитектура использует рекурсивный подход (Recursive Transformer) и вычисления в формате FP4, что позволяет значительно снизить требования к оперативной памяти при сохранении производительности на уровне более тяжелых моделей.

В процессе префилла (prefill) система активирует только 8 млрд параметров, что сокращает задержки при обработке длинных промптов. Использование FP4-квантования позволяет эффективно распределять вычислительную нагрузку, минимизируя потребление ресурсов GPU без существенной потери качества генерации текста.

Данная разработка направлена на решение проблемы «бутылочного горлышка» при работе с длинным контекстом, где объем KV-кэша часто ограничивает пропускную способность системы. Технические детали реализации и результаты тестирования архитектуры доступны в обсуждении сообщества, где эксперты отмечают эффективность предложенного метода сжатия для высоконагруженных AI-сервисов.