Исследователи составили атлас оптимизации инференса для LLM

Команда исследователей опубликовала The Inference Engineering Pareto Atlas, в котором проанализировала влияние различных методов оптимизации на стоимость, качество и задержку работы языковых моделей. Для тестирования использовалась модель Qwen2.5-7B-Instruct, работающая на движке vLLM 0.12.

В ходе работы было протестировано 54 конфигурации на графических процессорах L4, A100 и H100. Исследователи использовали симулятор, откалиброванный по реальным замерам, с погрешностью дрейфа менее 1.5%. Качество оценивалось на 200 вопросах из набора GSM8K, включая проверку методов квантования FP16, AWQ 4bit и FP8.

Результаты показали, что FP8 weights сохраняют 99.4% точности при снижении задержки до 0.61–0.65 от базового уровня. В то же время метод AWQ 4bit сокращает задержку на токен до 0.34 от базы, но приводит к потере 5.9% точности. Использование FP8 KV cache без дополнительных настроек оказалось неэффективным, так как модель перестала давать правильные ответы, несмотря на сохранение пропускной способности.

Выбор оптимальной конфигурации зависит от ограничений проекта. Для задач с жесткими требованиями к задержке наиболее эффективным оказался H100, тогда как A100 показал лучшие результаты по стоимости, обеспечивая инференс за $0.106 на миллион токенов. Комбинированные методы оптимизации чаще попадают на границу Парето, чем одиночные настройки.

Данный атлас позволяет инженерам подбирать оптимальные параметры развертывания моделей под конкретные аппаратные ресурсы. Работа опубликована под лицензией CC BY 4.0.