Исследователи предложили метод калиброванной маршрутизации запросов для LLM

Группа исследователей представила метод калиброванной маршрутизации для систем с разделением вычислительных мощностей на префилл и декодирование. Новый алгоритм динамически распределяет нагрузку между GPU-узлами, учитывая длину промпта, прогнозируемую длину ответа, давление на KV-кэш и требования к SLO.

В ходе тестирования на восьми GPU NVIDIA A40 под управлением движка vLLM система продемонстрировала средний показатель goodput на уровне 0.864. Это превышает результаты стандартных стратегий, таких как round robin (0.835) и least loaded. Использование калиброванного роутера позволило достичь аналогичной производительности при использовании шести GPU вместо семи, что снижает требования к инфраструктуре.

Авторы подчеркивают важность аппаратной калибровки: использование констант, полученных только через симулятор, снижает эффективность goodput на 4.5 пункта и уменьшает преимущество в хвосте задержек (tail latency) на 40%. В условиях экстремальной нехватки ресурсов жадная минимизация затрат становится менее эффективной, чем простое распределение нагрузки.

Преимущества метода наиболее заметны при работе с неоднородным трафиком и масштабировании пулов декодирования. При малом количестве узлов (три и менее) эффективность алгоритма нивелируется, так как простого подсчета длины очереди оказывается достаточно для балансировки.

Работа опубликована под лицензией CC BY 4.0. Результаты исследования позволяют оптимизировать работу дезагрегированных систем, таких как DistServe или Mooncake, за счет более точного прогнозирования времени завершения запроса на каждом узле.