Исследователи оценили эффективность размещения KV-кэша между GPU, CPU и SSD

Группа исследователей опубликовала научную работу, посвященную оптимизации размещения KV-кэша в иерархических системах памяти, включающих GPU HBM, CPU DRAM и SSD. Авторы проанализировали влияние различных политик вытеснения и префетчинга на производительность при работе с длинными сессиями, агентами и задачами ответов на вопросы по документам.

Результаты моделирования показывают, что использование многоуровневой архитектуры с соотношением емкостей 1:8:64 позволяет увеличить количество одновременных сессий на один GPU в 73,02 раза. При этом стоимость обслуживания одной сессии снижается в 62,04 раза. Исследователи отмечают, что основной выигрыш достигается за счет масштабирования памяти, а не за счет выбора конкретной политики размещения данных.

В ходе тестов выяснилось, что для чат-ботов политика Recency (вытеснение по давности) генерирует в 2,3 раза меньше трафика миграции данных между уровнями памяти, чем политика Reuse Frequency (частота повторного использования). Однако для агентских задач и обработки документов Reuse Frequency показывает лучшие результаты. Использование предсказательных моделей и механизмов префетчинга не оправдало ожиданий: даже при наличии «оракула», знающего будущие запросы, префетчинг не снижает объем трафика миграции.

Авторы подчеркивают, что при размере батча, равном единице, процесс декодирования ограничен вычислительной мощностью, поэтому стратегия размещения данных слабо влияет на пропускную способность. Основное влияние политики оказывают на интенсивность PCIe-трафика и время получения первого токена. Работа опубликована под лицензией CC BY 4.0.