Hugging Face добавила нативную поддержку тензорных процессоров Google TPU

Команда Hugging Face объявила о полноценной интеграции с аппаратным обеспечением Google TPU через библиотеку TorchTPU. Теперь разработчики могут запускать обучение и инференс нейросетей на тензорных процессорах без необходимости в сложных промежуточных слоях, используя стандартные API PyTorch.

Обновление обеспечивает прямую совместимость с экосистемой XLA, что позволяет эффективно распределять вычислительную нагрузку между ядрами TPU. Инструментарий поддерживает автоматическое масштабирование моделей на кластеры из сотен процессоров, минимизируя задержки при передаче данных между узлами. Разработчикам доступна полная поддержка bfloat16 и float32, что критически важно для сохранения точности при обучении больших языковых моделей.

Интеграция включает оптимизированные функции для работы с библиотекой Accelerate, что упрощает перенос существующих скриптов с GPU на TPU. Пользователи могут использовать стандартные конфигурации для запуска моделей из хаба, применяя флаги для автоматического распределения тензоров по топологии TPU-чипов. Это сокращает время настройки инфраструктуры с нескольких дней до нескольких часов.

Данное решение направлено на снижение зависимости от проприетарных стеков NVIDIA и расширение возможностей для обучения моделей на облачных мощностях Google Cloud. Прямая поддержка TPU позволяет разработчикам использовать специализированные тензорные ядра для ускорения матричных вычислений, которые лежат в основе современных архитектур трансформеров.