Az NVIDIA két új, nyílt forráskódú projektet tett elérhetővé nyilvános előnézetben, amelyek a GPU-infrastruktúrán futó, menedzselt Kubernetes-szolgáltatások kiépítését és üzemeltetését célozzák: NVIDIA Kubernetes Engine (NVKE) és NVIDIA Kubernetes Recipes (NVKR). Ezek a komponensek részei a NVIDIA DSX AI Factory Platformnak és a GitHubon, Apache 2.0 licenc alatt érhetők el.
Mire valók a projektek és miért fontosak?
AI Factory-k ügyfelei gyakran a már ismert Kubernetes API-kon, eszközökön és ökoszisztémán keresztül szeretnék felvenni a GPU-kapacitást, miközben a gyár (AI Factory) üzemelteti a klasztereket. Egy ilyen szolgáltatás megvalósításához szükséges az API-vezérelt előállítás, bérlői elkülönítés, frissítések és helyreállítás, valamint a szolgáltatási kötelezettségek teljesítése. Emellett ki kell minősíteni a GPU-hardvert, hálózatot, drivereket és futtatókörnyezetet a különböző GPU-generációk és Kubernetes-verziók között.
NVKR és NVKE kettéosztja ezeket a feladatokat: NVKR a reprodukálható szoftver- és image-építést adja, míg NVKE a menedzselt Kubernetes-szolgáltatás futtatásához szükséges kezelőfelületet és API-kat biztosítja.
Mivel foglalkozik a NVKR?
NVKR meghatározza az NVIDIA által validált Kubernetes-szoftverkombinációkat és egy reprodukálható építési folyamatot biztosít. Ennek során NVKR verzióhoz kötött forrásokból készít node image-eket, binárisokat, konténerimage-eket és Helm chart-okat, és minden bevitelt feljegyez, hogy később azonosítható és újraépíthető legyen az elkészült artefaktum.
A cikk bemutatója szerint a fejlesztőcsapatok a NVKR forráskódjának klónozásával és a gyorsindító (quickstart) script futtatásával építik meg az nvkectl parancssori eszközt, az NVKE controller image-t és a telepítéshez szükséges node-image-et (a példában node-image-01 néven). Az építési folyamat QCOW2 lemezkép formátumú node image-et eredményez, amely tartalmazza többek között a Kubernetes 1.36 csomagokat és a SPIRE ügynököt.
Mivel foglalkozik az NVKE?
NVKE a menedzselt Kubernetes-szolgáltatás üzemeltetéséért és API-vezérelt klaszterkezelésért felel. Az nvkectl eszközzel egy bootstrap gazdagépen ideiglenes seed klasztert indítanak, amelyből kialakul a menedzsment klaszter; a menedzsment sík (REST API és controller-ek) ezen a menedzsment klaszteren fut. A menedzsment sík workload klasztereket hoz létre az AI Factory ügyfelei számára, minden ügyfélhez külön Kubernetes control plane-nel, etcd-vel és node pool-okkal.
A bare-metal gépek életciklusát az NVIDIA Infra Controller (NICo) kezeli, a Cluster API infrastruktúra provider-én, CAPNICo-n keresztül. A node-ok csatlakozása előtt attesztált SPIFFE identitást kell bemutatniuk a join hitelesítéshez. Az NVKE telemetriai csővezetéke OpenTelemetry alapú Helm chart-tal gyűjti a logokat, metrikákat és trace-eket, és OTLP-n keresztül exportálja őket megfigyelő backend felé.
NVKE conformance tanúsítvánnyal rendelkezik: Certified Kubernetes AI Platform és Certified Kubernetes Installer minősítést kapott, a Kubernetes 1.36-on tesztelve.
Működés együtt és külön
A két projekt együtt használható: NVKR készíti az artefaktumokat (node image-ek, konténer image-ek, Helm chart-ok), NVKE pedig ezeket felhasználva provision-öli és üzemelteti a klasztereket. Ugyanakkor NVKE-nek nincs futásidejű függősége NVKR-tól, és NVKR artefaktumokat más Kubernetes-menedzsment rendszerekhez is lehet építeni.
Példa: a telepítési folyamat lépései
A bemutató lépései röviden:
- Előfeltételek: három CPU szerver a menedzsment klaszterhez, külön Linux bootstrap host containerd-vel, nerdctl-lel, kind-del, Helm-mel és kubectl-lel; három CPU szerver a workload control plane-hez; egy pool GPU szerver a worker node-okhoz; NICo telepítés; Linux build host Dockerrel és KVM támogatással; HTTP szerver a node image-hez és konténerregisztráció az NVKE controller image-hez.
- Node image építése NVKR-rel: a nvkr repository klónozása, a quickstart futtatása, majd az NVKE-OS kép elkészítése (példában: node-image-01). Az eredmény egy QCOW2 disk image és egy controller image, amelyet egy regisztrációs tárhelyre töltenek fel.
- NVKE menedzsment sík telepítése: a bootstrap hoston nvkectl bootstrap paranccsal indítanak egy ideiglenes klasztert, amely segítségével NICo három szervert kér a menedzsment klaszterhez és azokra a korábban készített node image-et boot-olja. Amikor a három node csatlakozott, az ideiglenes klasztert eltávolítják és a menedzsment klaszter marad.
- Release set publikálása: az AI Factory publikál egy release setet, amely három részből áll: machine image (iPXE script), cluster release (machine image + cloud-init és a Kubernetes verzió rögzítése) és node pool release (worker node image + konfiguráció). Ezeket az nvkectl create parancsokkal lehet közzétenni.
- Ügyfél klaszter létrehozása: az ügyfél kérésében szerepelnek a NICo bemenetek és a Kubernetes verzió (példaként 1.36.3 szerepel a cikkben). A request YAML fájlt elküldve az NVKE API-n keresztül a klaszter állapota Provisioning-ról Provisioned-re vált, miután az első control-plane node lefuttatta a kubeadm init-et és NVKE telepítette az OVN-Kubernetes és NodeLocal DNSCache komponenseket.
- Ügyfél hozzáférés: az ügyfél a klaszter Kubernetes API-jához kubeconfig-on keresztül fér hozzá; az AI Factory továbbra is az NVKE API-n keresztül kezeli a klasztert. A példában a nvkectl get kubeconfig paranccsal írják ki a kubeconfig fájlt.
Támogatók és integrációk
NVIDIA Cloud Partnerek Firmus és SK Telecom beépítik az NVKE-t és NVKR-t AI Factory folyamataikba. Továbbá a partnerek — Mirantis, Rafay, Spectro Cloud, OpenNebula Systems és vCluster — a NVKE/NVKR komponenseket integrálják saját menedzselt Kubernetes szolgáltatásaikba, hogy ügyfeleik GPU-s AI munkaterheléseket futtathassanak Kubernetes-en. A Netris hálózati automatizálási megoldása is támogatja az NVKE-t.
Elérhetőség és korlátok
NVKE és NVKR nyilvános előnézetben érhetők el; jelenleg nem ajánlottak éles (production) munkaterhelésekhez. A projektek gyorsan fejlődnek, és az NVKE API, konfigurációk vagy viselkedés kiadásról kiadásra változhatnak. A GitHub tárolók és a roadmap-ek publikusak, és a közösségi hozzájárulásokat, visszajelzéseket szívesen fogadják.
Hol kezdje a csapat
A forráskódok és dokumentációk a NVIDIA DSX AI Factory GitHub szervezetében találhatók, valamint elérhetők NVKE és NVKR dokumentációk, helyi quickstart példák (GPU és NVIDIA fiók nélkül is kipróbálható), és a közösség Slack csatornája (#nvke). NVIDIA KubeCon standon (#170) további bemutatók és élő demók várják az érdeklődőket.
