Hétfőn az Amazon Web Services (AWS) kiadta a TorchNeuron nevű eszközt, amely lehetővé teszi, hogy a PyTorch-szal fejlesztett AI-alkalmazások egyszerűen átköltözzenek az Amazon saját Trainium nevű AI-chipjére. Az AWS szerint a PyTorch-alapú alkalmazások Trainiumon való futtatásához elegendő egyetlen konfigurációs sor módosítása — a kód újraírása nem szükséges.
Miért fontos ez?
A PyTorch egy ingyenes, nyílt forráskódú keretrendszer, amelyet fejlesztők használnak AI-modellek építésére, tanítására és futtatására; az AWS szerint a mesterséges intelligencia-alkalmazások körülbelül 85%-át PyTorch-ban írják. A Facebook eredetileg fejlesztette a PyTorch-ot, 2022 óta pedig a Linux Foundation része.
Az Nvidia évek óta a CUDA szoftverinfrastruktúra fejlesztésére fókuszált, hogy a PyTorch-alkalmazások zökkenőmentesen fussanak Nvidia GPU-ken, ezért a gyakorlatban az Nvidia hardvere mélyen beágyazódott a fejlesztői eszköztárba. A TorchNeuron célja ennek a szoftveres előnynek a csökkentése, azáltal, hogy egyszerűvé teszi a PyTorch-ról Trainiumra történő átállást.
Hogyan működik és mit ígér az AWS?
A TorchNeuron a PyTorch-ra épül, így a PyTorch-ismerettel rendelkező fejlesztőknek nem kell új technológiát megtanulniuk. Az AWS azt hangsúlyozza, hogy a Trainium használata nemcsak egyszerű, hanem az Amazon teljes felhőinfrastruktúrájához való hozzáférést is biztosítja a startupok számára — nem kell külön, speciális felhőszolgáltatóra építeniük.
Colin Brace, az AWS Annapurna Labs technológiai szoftverért felelős alelnöke a TechCrunchnak küldött e-mailben azt írta: „You’re building on AWS. You’re not betting on a single-purpose compute provider and scrambling to build everything else around it.” Hozzátette: „On AWS, the infrastructure to go from prototype to production is already there, allowing a founder to move fast and scale when they need to.”
Az AWS továbbá kiemeli, hogy a Trainium ugyanazt a chippet használja mind a tanítási (training), mind az inferenciális (inference) feladatokra, és szoros integrációban áll a felhőinfrastruktúrával, amelyre a startupoknak szükségük van. Az AWS állítása szerint ez jobb költséghatékonyságot eredményezhet a teljes munkaterhelésre vetítve, még ha nem is kínálja a legalacsonyabb tokenenkénti árat.
Példaként Colin Brace a Deepgram nevű hangalapú AI-szolgáltatót említette: szerinte a Deepgram „moved to Trainium using native PyTorch, support and they’re processing 70% more audio per dollar at production-grade accuracy.” Deepgram olyan AI hangfeldolgozó cég, amely az ElevenLabs-hez hasonló szolgáltatásokat kínál.
Nyílt forrású hozzájárulás a PyTorch-hoz
Az AWS nem elégedett csak azzal, hogy egyszerű útvonalat adjon a saját felhőjéhez: a cég bejelentette, hogy a TorchNeuronhoz kapcsolódó változtatásokat vissza kívánja adni a PyTorch fő ágának. Az AWS blogbejegyzésében azt írta, hogy együtt dolgozik a PyTorch közösségével a hardverhez kötött kód eltávolításán, hogy a keretrendszer „hardware-agnostic” legyen — vagyis kevésbé függjön egyetlen típusú chiptől.
Lehetséges hatások és kérdések
Ha az AWS sikerrel jár a PyTorch hardverfüggetlenné tételében, az nagyobb választási lehetőséget adhat a fejlesztőknek és csökkentheti az Nvidia körüli „lock-in” hatást. Ugyanakkor kérdéses, hogy a gyakorlatban valóban több olcsóbb és egyszerűbb lehetőséget eredményez-e, vagy csak további konfigurációs nehézségeket hoz a fejlesztők számára. A tool sikeressége és a fontosabb ökoszisztéma-átalakító hatások idővel fognak kiderülni.
Az biztos, hogy az AWS szándéka világos: megkönnyíteni a PyTorch-alkalmazások Trainiumra és az AWS-felhőre való áthelyezését, és nyíltan dolgozni azon, hogy a PyTorch kevésbé legyen automatikusan Nvidia-központú — ami hosszabb távon jelentős iparági következményekkel járhat.
