Papers with Code обновила систему поиска на базе инфраструктуры Hugging Face

Платформа Papers with Code перевела свою поисковую систему на использование инструментов Hugging Face, включая Inference Endpoints, Jobs и Buckets. Обновление позволило автоматизировать индексацию научных статей и ускорить обработку запросов пользователей.

В основе новой архитектуры лежат Inference Endpoints, которые обеспечивают хостинг моделей для генерации векторных представлений (эмбеддингов) в режиме реального времени. Для пакетной обработки данных и регулярного обновления индекса используются Jobs, позволяющие запускать вычислительные задачи по расписанию без необходимости поддержки постоянной серверной инфраструктуры.

Хранение данных организовано через Buckets, которые интегрированы с экосистемой Hugging Face для быстрого доступа к весам моделей и наборам данных. Такая связка компонентов сократила время отклика системы поиска, обеспечивая актуальность выдачи при добавлении новых публикаций в базу данных проекта.

Использование облачных сервисов платформы позволило разработчикам отказаться от управления собственными кластерами GPU. Теперь процесс обновления поискового индекса полностью автоматизирован: от извлечения текста из PDF-файлов до векторизации и записи в базу данных, что минимизирует задержки между выходом статьи и её появлением в результатах поиска.

Переход на инфраструктурные решения Hugging Face демонстрирует возможности масштабирования специализированных поисковых движков для научных данных. Интеграция компонентов позволяет эффективно обрабатывать растущий объем публикаций, сохраняя при этом высокую точность семантического поиска для пользователей ресурса.