Kedden a Google bejelentette, hogy a régóta várt PyTorch‑változata, a TorchTPU, mostantól nyílt forráskódú projektként elérhető. Ezzel a Google az Amazonhoz csatlakozik abban a törekvésben, hogy megtörje az Nvidia dominanciáját az AI‑alkalmazások futtatására használt hardverek piacán — ahol a legtöbb alkalmazást alapértelmezésben Nvidia GPU‑kra írják.
Mi a PyTorch és miért számít ez?
A PyTorch egy népszerű, nyílt forráskódú eszközkészlet, amelyet AI‑alkalmazás fejlesztők és startupok széles körben használnak modellek építésére, tanítására és futtatására. Egyes becslések szerint a piacon lévő AI‑alkalmazások körülbelül 85%-a PyTorch‑alapú. A PyTorch‑ot eredetileg 2016‑ban a Meta (akkori Facebook) fejlesztette ki; ekkor még nem lehetett sejteni a nagyméretű nyelvi modellek (LLM) későbbi szerepét. Már akkoriban az Nvidia GPU‑i számítottak szabványnak az AI‑kutatásban, ezért a PyTorch sok funkcióját úgy tervezték, hogy jól működjenek ezekkel a chipekkel. 2022‑ben a Meta átadta a PyTorch irányítását a Linux Foundationnek, egy nonprofit szervezetnek, amely több fontos nyílt forráskódú projektet kezel.
Mit kínál a Google TorchTPU?
A TorchTPU lehetővé teszi, hogy PyTorch‑alapú AI‑alkalmazások Google saját AI‑chipjén, a Tensor Processing Uniton (TPU) fussanak. A Google hangsúlyozza, hogy a meglévő PyTorch‑alkalmazások áthelyezése TPUn futtatásra egyszerű konfigurációs módosítással megoldható, újraírás nélkül, ami a Google Cloud felé történő migrációt is megkönnyíti.
A Google emellett együttműködött több ismert szereplővel — többek között Meta, Hugging Face, Inferact (a vLLM fejlesztője) és RadixArk (a SGLang készítője) — annak érdekében, hogy a TorchTPU funkciói és könyvtárai jól illeszkedjenek a népszerű AI‑fejlesztői eszközökhöz, ahogyan azt az eredeti PyTorch is teszi.
Továbbá a Google elindította a TPU agent suite nevű eszközkészletet, amely segíti a fejlesztőket az alkalmazások átköltöztetésében a TPU‑kra és a Google Cloudba, valamint a migráció során felmerülő hibák javításában. A vállalat frissítette a LiteRT eszközt is, amely AI‑modellek futtatását könnyíti meg telefonokon, laptopokon és beágyazott eszközökön, hogy az jobban működjön PyTorch‑alapú alkalmazásokkal.
Mit csinált az Amazon?
Az Amazon hétfőn tette közzé a saját PyTorch‑változatát, TorchNeuron néven. A TorchNeuron lehetővé teszi, hogy AI‑alkalmazások az Amazon saját fejlesztésű AI‑chipjére, a Trainiumra és az AWS‑re kerüljenek át anélkül, hogy a kódot újra kellene írni.
Az Amazon azt is közölte, hogy továbbmegy a Nvidia hatalmának lazításában: olyan kódot nyújt be a fő PyTorch‑projekthez, amely különválasztja bizonyos funkciókat az Nvidia chipektől, így alapból nyitottabbá téve a PyTorch‑ot más hardverek felé.
Mit jelent ez a gyakorlatban?
Ezek a lépések nem jelentenek automatikus tömeges elpártolást az Nvidia hardvereitől: a fejlesztők és üzemeltetők döntéseit több tényező — például teljesítmény, költség, meglévő infrastruktúra és ökoszisztéma‑támogatás — befolyásolja. Ugyanakkor mind a Google, mind az Amazon aktívan dolgozik azon, hogy csökkentse az Nvidia előnyét a PyTorch‑ban, egyszerűsítve az átköltözést saját chipekre és felhőszolgáltatásokra.
Összességében a TorchTPU és a TorchNeuron egyaránt fontos lépések abba az irányba, hogy a PyTorch többféle hardveren fusson natívan, és kevesebb legyen a kódok Nvidia‑specifikus kötöttsége.
