NVIDIA ma nyilvánosságra hozta a teljes NVIDIA Run:ai platform forráskódját, így ügyfelek, fejlesztők és ökoszisztéma-partnerek számára elérhetővé válnak a gyártási környezetbe alkalmas AI-munkaterhelés- és GPU-orchestration képességek. A lépés az NVIDIA DSX AI Factory Platform kiterjesztése: a Run:ai immár nyílt alapot képez, amely lehetővé teszi, hogy a szélesebb ökoszisztéma gyorsabban hozzon piacképes, differenciált megoldásokat.
Az elmúlt években az NVIDIA Run:ai segítette a szervezeteket AI-munkaterhelések Kubernetesen történő nagy léptékű futtatásában: dinamikus GPU-elosztással és a munkaterhelések teljes életciklusán átívelő menedzsmenttel, az adatelőkészítéstől és betanítástól az inferenciáig.
A forráskód nyilvánosságra hozatala lehetővé teszi, hogy minden NVIDIA DSX ökoszisztéma-partner és AI-cloud növelje a munkaterhelés-átvitelt, javítsa a GPU-k kihasználtságát és hatékonyabban működtesse a megosztott AI infrastruktúrát.
Mi jelent meg pontosan
A nyílt forráskódú kiadás tartalmazza a teljes NVIDIA Run:ai platformot és négy, külön is használható komponenst:
- KAI Scheduler
- GPU Fractioning Operator
- KAI Resource Management
- Workload Map
Ezek a komponensek, kiegészítve a platform további kódjával, alkotják az integrált NVIDIA Run:ai platformot. Platformcsapatok és ökoszisztéma-partnerek dönthetnek úgy, hogy a teljes rendszert átvesszák, saját termékeikre építenek rá, vagy egyenként integrálnak komponenseket az igényeik szerint.
Hogyan lehet hozzáférni és bevezetni
A teljes forráskód elérhető az NVIDIA Run:ai tárolóban az NVIDIA DSX AI Factory GitHub szervezetnél; a csapatok megvizsgálhatják a kódot, hozzájárulhatnak, vagy a moduláris elemek egyikét használhatják. A teljes platform elérhető továbbá az NVIDIA NGC-n Community Product formájában, Helm charttal az integrált stack telepítéséhez.
Fontos megjegyzés: az NVIDIA Run:ai forráskódjára az alkalmazandó nyílt forráskódú licencek érvényesek. Az NGC Community Product letöltésekor el kell fogadni az NVIDIA Software License Agreement és az NVIDIA AI termékekre vonatkozó termékspecifikus feltételeket. A Community Product használatához nem szükséges fizetős NVIDIA Run:ai előfizetés vagy NVIDIA támogatási jogosultság; az NVIDIA vállalati támogatás nem része a közösségi kiadásnak.
Ökoszisztéma-partnerek és felhasználási lehetőségek
A nyílt forráskód lehetővé teszi, hogy az NVIDIA DSX partnerei közvetlenül hozzáférjenek az AI-munkaterhelés- és GPU-orchestration fejlesztésekhez, amelyeket saját NVIDIA DSX AI Factory megoldásaikba építhetnek. Néhány példa a partnerek integrációjára:
- Crusoe: Run:ai integráció Crusoe Managed Kubernetes-szel, GPU orchestration és menedzselt Kubernetes/GPU infrastruktúra kombinálásához.
- Mirantis: k0rdent AI kiterjesztése NVIDIA Run:ai-jal, Metal-to-Model AI factory stacket biztosítva az infrastruktúra automatizálásához és a GPU-k maximális kihasználásához.
- Nebius: Run:ai egykattintásos alkalmazásként a Nebius AI Cloud-on, hogy az ügyfelek egyszerűen telepíthessék és működtethessék a teljes platformot Nebius menedzselt Kubernetes szolgáltatáson.
- OpenNebula Systems: OneKS-en keresztüli integráció az OpenNebula AI Cloud Platformmal a megosztott és szuverén AI felhők számára.
- Rafay: a Run:ai teljesen menedzselt szolgáltatásként való kínálata, az egész stack automatizálásával – infrastruktúrától a kontroll plane-ig és tenant kezelésig.
- Saturn Cloud: Run:ai integráció Token Factory platformon, white-label AI inferencia szolgáltatásokhoz, dedikált és multi-tenant model servinggel, per-token méréssel és számlázással.
- Spectro Cloud: Run:ai elérhető a PaletteAI részeként, telepíthető PaletteAI Studio-ból és kezelhető a meglévő lifecycle automatizációval.
- vCluster: előre validált telepítési sablonokkal biztosít környezeti izolációt tenant-ok szerint, miközben a Run:ai át tudja ütemezni a munkákat egyetlen GPU-flottán.
A vállalati NVIDIA Enterprise AI Factory telepítések esetén a Run:ai továbbra is elérhető NVIDIA által támogatott kereskedelmi csomagokban, például önálló termékként, az NVIDIA Mission Control és NVIDIA AI Enterprise keretein keresztül, valamint kiválasztott cloud piactereken. Az elérhetőség, licencelés és támogatási feltételek az egyes ajánlatoknál eltérőek.
A nyílt forráskódú platform moduláris komponensei
A kiadás négy fő modul részleteit tartalmazza:
KAI Scheduler — a Run:ai ütemezője
KAI Scheduler egy Kubernetes-native ütemező, amely az NVIDIA Run:ai motorja. Az NVIDIA a KAI Scheduler-t Apache 2.0 licence alatt nyílt forráskódúvá tette, és a CNCF-hez Sandbox projektként járult hozzá. A KAI a Run:ai mögötti upstream motor marad; az ütemező fejlesztése a közösségi tárolóban zajlik.
KAI Scheduler célzottan GPU-munkaterhelésekhez készült, és a következőket kínálja:
- Gang scheduling prescheduling memóriabeli szimulációval az all-or-nothing elhelyezéshez
- Fair-share (időalapú fair-share is) és kvóta allokációk
- Topológia-tudatos bin-packing a döntési szinten
- GPU megosztás (MIG, MPS, time sharing, HaMi, CUDA 13.4 MPS fractioning)
- Dynamic Resource Allocation (DRA) támogatás
A KAI Scheduler különféle AI munkaterhelésekhez ajánlott, amely kiegyensúlyozott hozzáférést és topológia-tudatos elhelyezést igényel. Telepíthető meglévő klaszterek mellé anélkül, hogy a teljes Run:ai platformot ki kellene építeni.
GPU Fractioning Operator — GPU-frakcionálás Kubernetesen
A platform régóta támogatja a GPU-k frakcionált allokációját, amely lehetővé teszi több munkaterhelés számára egy GPU megosztását kemény memóriaizoláció mellett. A GPU Fractioning Operator a CUDA-native GPU fractioninget hozza Kubernetesre; a proprietáris megoldás helyett a CUDA 13.4-ben elérhető natív képességre épít.
A CUDA driver kemény memóriakorlátot érvényesít a frakciók számára, és minden munkaterhelés csak a számára kiosztott GPU-memóriát látja. A GPU Fractioning Operator biztosítja azt az integrációs réteget Kubernetesen, továbbá per-pod metrikákat exportál a használt frakciók láthatóságához. Ütemező-agnosztikus, de integrálható például KAI Scheduler-rel.
Ajánlott használati esetek: interaktív notebookok, fejlesztési munkamenetek és kisebb modellek inferenciája — minden olyan helyzet, ahol megosztható, alulhasznosított GPU-kapacitás áll rendelkezésre.
KAI Resource Management — a szervezeti réteg
Ahol az ütemező a „hogyan”-t dönti el, a KAI Resource Management szabályozza a „kinek-mennyit” kérdést:
- Projektek és részlegek: az org-struktúra, amely hozzárendeli az erőforrásokat a fogyasztó csapatokhoz.
- Erőforrás-kezelés hierarchiával: kapacitás allokáció, garanciák és megosztás fair-share és kvóta szemantikával.
- Node poolok: heterogén hardver csoportosítása és célzása, hogy a munkák a megfelelő erőforrásokra kerüljenek.
Ezzel a platformcsapatok a Kubernetes ütemezésen túl szervezeti szemlélet szerint kezelhetik a GPU-kat: csapatok, részlegek vagy kezdeményezések szerint, garantált erőforrásokkal.
Például: egy platform csapat garantálhat 50%-ot a klaszterből a kutatásnak, miközben megakadályozza, hogy egyetlen csapat monopolizálja a maradék kapacitást.
Workload Map — munkaterhelés-kezelési szerződés
A Workload Map a Run:ai réteg, amely bármilyen munkaterhelést egységes szerződésként ír le. KAI Scheduler ezt használja az ütemezéshez és a gang szemantikához; a platform többi része munkaterhelés-felderítésre, megfigyelésre és életciklus-kezelésre támaszkodik.
Kubernetesen egy AI munkaterhelés ritkán egy egyszerű Deployment vagy Job: gyakoriak a PyTorchJob, RayCluster, JobSet, KServe InferenceService, Dynamo graph deployment vagy vállalati egyedi erőforrások. A Workload Map egységes módot ad ezek leírására, konfigurálására, all-or-nothing elhelyezésére, állapotmegfigyelésre és szabályalkalmazásra.
Mivel Go könyvtárként offline is működik nem strukturált objektumokon, platformok és eszközök beépíthetik anélkül, hogy bármi változást követelnének a klaszterben. A Workload Map szándékosan szűk: a munkaterhelés szerkezetét írja le, nem ütemez, nem autoscale-l, és nem propagál klaszterek között.
Kapcsolódó nyílt forráskódú projektek
A kiadás emellett bemutat további, kiegészítő projektekre hivatkozást, amelyek önállóan is hasznosak lehetnek:
-
Model Streamer: csökkenti az inferencia cold-start idejét azzal, hogy a modellek súlyait egyidejűleg olvassa és közvetlenül GPU-memóriába streameli. Publikált referenciaadatok szerint nyolc NVIDIA H100 VM-en 3–6x gyorsabb betöltést és körülbelül 80 Gbps sávszélességet mutat, szemben a korábbi ~40 Gbps-tal. Több tároló- és cloudszolgáltató is méréseket publikált jelentős javulással.
-
Grove: egy Kubernetes API multikomponens inferencia- és training munkafolyamatok kezelésére; topológia-tudatos autoscaling és hierarchikus gang scheduling támogatására tervezték, és a NVIDIA Dynamo moduláris része.
Hol kezdjék a csapatok
Az NVIDIA Run:ai mostantól nyílt forráskódú szoftverként elérhető az NVIDIA DSX AI Factory GitHub szervezetében. A további információk és elérési pontok:
- NVIDIA Run:ai teljes platform
- KAI Scheduler ütemező
- KAI Resource Management projektek, kvóták és node poolok kezeléséhez
- GPU Fractioning Operator CUDA frakciókhoz és per-pod metrikákhoz
- Workload Map munkaterhelés-kezeléshez
- Kapcsolódó projektek: Model Streamer és Grove
Az NVIDIA várja a közösségi hozzájárulásokat, issue-kat és visszajelzéseket a Run:ai nyílt fejlesztéséhez.
