Amazon представила инструмент TorchNeuron для оптимизации PyTorch под свои чипы

Amazon выпустила новый инструмент разработки TorchNeuron, предназначенный для адаптации приложений на базе PyTorch под собственные аппаратные ускорители компании. Решение направлено на снижение зависимости разработчиков от экосистемы Nvidia и упрощение миграции рабочих нагрузок на облачную инфраструктуру AWS.

Инструмент позволяет компилировать модели, созданные в стандартном фреймворке, для работы на чипах AWS Inferentia и Trainium. По заявлению разработчиков, интеграция TorchNeuron обеспечивает автоматическую оптимизацию графов вычислений, что позволяет достичь высокой производительности без необходимости переписывать исходный код нейросетей под специфическое «железо».

Использование собственных чипов Amazon в связке с новым инструментарием позволяет компаниям сократить расходы на облачные вычисления. В отличие от стандартных решений, ориентированных на архитектуру CUDA, TorchNeuron фокусируется на максимальной утилизации ресурсов специализированных процессоров AWS, что критически важно для обучения и инференса крупномасштабных моделей.

Этот шаг является частью стратегии Amazon по созданию полноценной альтернативы доминирующим решениям на рынке ИИ-инфраструктуры. Предоставляя разработчикам прямой доступ к оптимизации через привычный интерфейс PyTorch, компания стремится перетянуть часть нагрузки с графических процессоров Nvidia на собственные вычислительные мощности, предлагая более гибкие условия для масштабирования проектов.