В понедельник Amazon Web Services представила инструмент TorchNeuron, который позволяет AI-стартапам переносить свои приложения на чип Amazon Trainium. Так компания напрямую усиливает давление на программную экосистему Nvidia, которая помогла ей стать стандартным выбором для AI-приложений.
TorchNeuron работает с PyTorch — бесплатным open source-инструментом, который разработчики используют для создания, обучения и запуска AI-моделей. По данным Amazon, приложения на PyTorch можно запускать на Trainium, изменив только одну строку конфигурации, без переписывания кода.
Amazon утверждает, что около 85% AI-приложений написаны на PyTorch. Изначально его создала Facebook, а с 2022 года проектом управляет Linux Foundation. Nvidia много лет развивает CUDA — программную среду, которая помогает приложениям работать на GPU Nvidia и другом её оборудовании, — чтобы она без проблем поддерживала PyTorch. В результате оборудование Nvidia стало почти стандартом внутри этого инструмента.
TorchNeuron основан на PyTorch, поэтому разработчикам, которые уже умеют работать с PyTorch, не нужно осваивать новый стек. При этом Amazon — не первая компания, которая пытается упростить перенос приложений на свои чипы: пользователи PyTorch также могут перенести свои проекты на AMD GPU или даже чипы Apple через простую смену конфигурации.
В AWS считают, что перенос на Trainium даёт стартапам не только доступ к чипу, но и к всей облачной инфраструктуре Amazon. Компания заявляет, что для стартапов это лучше, чем neoclouds — облачные провайдеры, которые часто завязаны на Nvidia и её железо, включая CoreWeave, Nebius и Firmus.
«Вы строите на AWS. Вы не ставите всё на одного поставщика вычислений и не пытаетесь потом срочно собрать вокруг него всё остальное», — сказал TechCrunch по электронной почте Колин Брэйс, вице-президент по технологии и софту в AWS Annapurna Labs, подразделении Amazon, которое выпускает собственные чипы. «На AWS инфраструктура для перехода от прототипа к продакшену уже есть, так что основатель может быстро двигаться вперёд и масштабироваться, когда это нужно», — добавил он.
В AWS также говорят, что один и тот же чип отвечает и за обучение модели, и за inference — запуск уже готовой модели в работе, например при ответе на вопрос пользователя. По словам компании, это, вместе с плотной связью с облачной инфраструктурой, поможет снизить затраты для стартапов, даже если AWS не предлагает самую низкую цену за токен.
«Ценность Trainium — это соотношение цены и производительности, а также то, что это одна платформа и для обучения, и для inference, что улучшает экономику всей нагрузки», — сказал Брэйс. «Посмотрите на Deepgram: они перешли на Trainium с нативной поддержкой PyTorch и обрабатывают на 70% больше аудио на каждый доллар при производственном уровне точности», — отметил он. Deepgram — это разработчик AI-сервиса для работы с голосом, конкурент ElevenLabs.
При этом Amazon хочет не просто дать разработчикам PyTorch удобный путь к своей облачной платформе. Компания заявила, что намерена сделать PyTorch менее завязанным на Nvidia и передаст соответствующий код в основной проект PyTorch. В блоге по поводу запуска инструмента Amazon написала: «Подход Amazon выходит за рамки собственного оборудования. Компания вносит изменения в основной код PyTorch, работая с сообществом проекта над удалением кода, который привязывает фреймворк к конкретным чипам. Цель — сделать PyTorch более независимым от железа для всего сообщества разработчиков, а не только для пользователей Trainium».
Для компаний, которые продают оборудование и облачные сервисы в конкуренции с Nvidia, такой шаг выгоден. Но сама идея PyTorch состоит в том, чтобы скрыть от разработчиков все лишние трудности запуска AI-кода на железе. Пока неясно, даст ли ослабление связки с Nvidia больше выбора и более доступные варианты, как обещает Amazon, или приведёт к новым проблемам с настройкой.
В любом случае, если Amazon удастся сильнее отвязать PyTorch от Nvidia, это может создать для GPU-гиганта куда более серьёзные последствия, чем просто конкуренция с другими чипами. Как сказал Брэйс: «Главная история — убрать привязку, которая мешала разработчикам иметь реальный выбор».
Источник: TechCrunch, блог Amazon Web Services.