OpenAI ускорила чтение данных в ChatGPT в 12 раз

OpenAI опубликовала вторую часть технического отчета о масштабировании системы хранения данных Habitat, которая обеспечивает работу ChatGPT. Инженерам удалось добиться 12-кратного ускорения операций чтения, что стало критически важным для поддержания стабильности сервиса при аудитории, превышающей 1 миллиард пользователей.

Для достижения таких показателей компания внедрила архитектуру с надежной многопользовательской средой (multi-tenancy) и оптимизированным механизмом глобального кэширования. В качестве основного хранилища данных была задействована база данных Azure Cosmos DB. Использование этой облачной инфраструктуры позволило эффективно распределять нагрузку и минимизировать задержки при обработке запросов к истории чатов и другим пользовательским данным.

Реализованные изменения позволили системе справляться с резкими скачками трафика без деградации производительности. Переход на новую схему кэширования и оптимизация структуры хранения данных снизили нагрузку на основные узлы, обеспечив более быстрый отклик интерфейса для конечных пользователей по всему миру.

Данный опыт масштабирования демонстрирует подходы к проектированию высоконагруженных систем, работающих с генеративными моделями. Для разработчиков и инженеров инфраструктуры эти данные служат ориентиром при проектировании аналогичных сервисов, требующих высокой доступности и низкой задержки при работе с большими объемами неструктурированных данных в облаке.