Разработчики ускорили работу с длинным контекстом на RTX 5090

Энтузиасты представили проект fast-long-context, который позволяет расширить рабочее контекстное окно до 256K токенов на видеокартах RTX 5090. Решение реализовано в виде патча для фреймворка SGLang, оптимизирующего работу с памятью при выполнении инференса.

Система использует веса и KV-кэш в формате NVFP4, что обеспечивает высокую плотность данных при сохранении производительности. В ходе тестов на указанном оборудовании скорость генерации достигает 240–300 токенов в секунду. Для работы инструмента требуется операционная система Linux и наличие графического ускорителя архитектуры NVIDIA.

Технология ориентирована на разработчиков, которым необходимо обрабатывать массивы данных большого объема без использования серверных кластеров. Использование NVFP4 позволяет значительно снизить требования к видеопамяти, сохраняя при этом возможность работы с длинными последовательностями, что ранее было ограничено аппаратными ресурсами потребительских GPU.

Проект доступен в открытом репозитории и требует предварительной настройки окружения SGLang. Данный подход позволяет эффективно использовать потенциал новых видеокарт для задач, требующих глубокого анализа контекста в реальном времени.