Cloudflare оптимизировала память Pingora на 100 ТБ

Компания Cloudflare внедрила математическую оптимизацию в алгоритмы распределения нагрузки своего бэкенд-маршрутизатора Pingora. Изменения позволили сократить потребление оперативной памяти на 100 ТБ в масштабах всей глобальной сети компании.

Инженеры переработали механизм консистентного хеширования (consistent hashing), который используется для распределения запросов между серверами. Ранее система хранила избыточные диапазоны хешей для каждого узла, что приводило к неоправданно высокому потреблению RAM. Новый подход использует математическую аппроксимацию для вычисления диапазонов «на лету», исключая необходимость хранения огромных таблиц соответствия в оперативной памяти.

В результате оптимизации удалось снизить нагрузку на серверы без потери точности балансировки трафика. Использование математических методов вместо хранения статических структур данных позволило высвободить значительные аппаратные ресурсы, которые теперь перераспределены на выполнение других задач в рамках инфраструктуры Pingora.

Данное обновление является частью стратегии по повышению эффективности работы распределенных систем Cloudflare. Снижение потребления памяти на 100 ТБ позволяет компании масштабировать пропускную способность сети без необходимости закупки дополнительного серверного оборудования, что критически важно для обработки растущих объемов HTTP-трафика.