Во вторник Google объявила, что TorchTPU — ее долгожданная версия PyTorch — теперь доступна как проект с открытым исходным кодом. Так компания присоединилась к Amazon в попытке ослабить доминирование Nvidia на рынке ИИ, где большинство приложений по умолчанию пишут под чипы Nvidia, то есть GPU.
PyTorch — популярный открытый набор инструментов, который разработчики ИИ-приложений и стартапы используют для создания, обучения и запуска моделей. По некоторым оценкам, он используется в 85% ИИ-приложений. Изначально PyTorch разработала Meta, тогда еще Facebook, в 2016 году, задолго до бума LLM. На тот момент GPU Nvidia уже были стандартным оборудованием для ИИ-исследований, поэтому многие функции PyTorch создавали с прицелом именно на них. В 2022 году Meta передала PyTorch Linux Foundation, некоммерческой организации, которая управляет многими крупными open source-проектами.
TorchTPU позволяет запускать ИИ-приложения на чипах Google, которые называются Tensor Processing Units, или TPU. Он также упрощает перенос существующих приложений PyTorch на TPU и, следовательно, в Google Cloud. Разработчикам достаточно изменить конфигурацию, без переписывания кода.
Похожее объявление Amazon сделала в понедельник. Компания выпустила собственную версию PyTorch под названием TorchNeuron. Она позволяет переносить ИИ-приложения на фирменный чип Amazon Trainium и в AWS без переписывания кода. Amazon также заявила, что идет дальше в попытке ослабить влияние Nvidia на PyTorch. Компания отправляет в основной проект PyTorch код, который отделяет разные функции от чипов Nvidia и делает проект по умолчанию более открытым для любого аппаратного обеспечения.
Google, впрочем, может опережать Amazon по нескольким направлениям. Компания заявила, что работала напрямую с Meta, Hugging Face, Inferact — разработчиком vLLM, RadixArk — создателем SGLang, и другими партнерами, чтобы функции и библиотеки TorchTPU хорошо работали с этими популярными инструментами для разработки ИИ, как это происходит у исходного PyTorch.
Кроме того, компания запустила отдельный инструмент TPU agent suite, который помогает разработчикам переносить приложения на чипы и облако Google и исправлять ошибки в процессе. Google также обновила LiteRT — инструмент для запуска ИИ на смартфонах, ноутбуках и встроенных устройствах, чтобы он лучше работал с ИИ-приложениями на PyTorch.
Это не означает, что разработчики ИИ-приложений массово откажутся от оборудования Nvidia только потому, что теперь могут проще переходить на альтернативные чипы и облачные платформы. Но Amazon и Google явно пытаются лишить Nvidia ее преимущества.
Источник: Reuters.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.