NVIDIA bevezeti a Scale‑In koncepcióját, amely a BlueField‑4 DPU, a DOCA szoftverkeret és a Spectrum‑X Ethernet kombinációjával célzott, hoszttól független gyorsítást nyújt az agentikus AI gyárak észleléséhez, tárolásához, biztonságához és üzemeltetéséhez. A Scale‑In a hagyományos északi‑déli (north‑south) hálózatokat egy koherens infrastruktúra‑doménné fejleszti, ahol az infrastruktúra szolgáltatásai (biztonság, többbérlős hálózat, adat‑ és tárhozzáférés, üzemeltetési folyamatok) dedikált DPU‑kon futnak, nem a tenant hosztok CPU‑ján.
Miért van szükség Scale‑Inre?
Hagyományos felhőinfrastruktúrák általános célú, kiszámítható terhelésekre és standard interfészekre épülnek. Az agentikus AI gyárak viszont sokféle felhasználót, ügynököt, alkalmazást, adatforrást és tárolórendszert kötnek össze több terabit/s sávszélességű számítási erővel szerverenként, ezért a dedikált DPU feldolgozás szükségessé válik a vonalsebességű hálózatkezeléshez, tároláshoz és biztonsághoz. A Scale‑In célja, hogy ezeknek az infrastruktúrafunkciónak a teljesítettését felgyorsítsa és konzisztens vezérlést biztosítson az AI gyár számára.
A Scale‑In helye az NVIDIA öt pillérében
NVIDIA meghatározása szerint az AI gyárak infrastrukturális követelményei több skálázási dimenziót tartalmaznak:
- Scale‑Up: NVIDIA NVLink a GPU‑k összekapcsolásához.
- Scale‑Out: NVIDIA Spectrum‑X Ethernet és NVIDIA Quantum InfiniBand a szerverek közti kapcsolathoz.
- Scale‑Across: NVIDIA Spectrum‑XGS Ethernet a földrajzilag elosztott AI gyárak összekötéséhez.
- Context Memory: NVIDIA CMX (NVIDIA STX alapokra építve) pod‑szintű megosztott KV‑cache tároláshoz.
- Scale‑In: NVIDIA BlueField‑4, NVIDIA DOCA és NVIDIA Spectrum‑X Ethernet az AI compute körüli hozzáférés, biztonság, adatmozgás és üzemeltetés gyorsításához.
Scale‑In tehát az északi‑déli hozzáférést egy egységes, gyorsított infrastruktúra‑doménné alakítja, ahol BlueField‑4 biztosítja a hoszttól független gyorsítást, DOCA egységes programozási és üzemeltetési modellt, míg Spectrum‑X magas teljesítményű Ethernet kapcsolódást ad a külső tárolók és adatforrások felé.
BlueField‑4: hardver az infrastruktúraszolgáltatásokhoz
BlueField‑4 feladata a Scale‑In szolgáltatások gyorsítása a GPU szervereken, agentikus CPU rendszereken, AI gyár tárolórendszereken és felhőszolgáltatásokon. Meghatározó elemei és szerepük:
- 64‑magos NVIDIA Grace CPU: futtatja a policykat, provisioningot, telemetriát és infrastruktúra‑orchestration szoftvereket; az elődhöz képest 6x több számítási kapacitást biztosít.
- Inline gyorsító motorok: csomagfeldolgozás, RDMA, tárolóprotokollok, titkosítás és tűzfalszabályok végrehajtása; akár 800 Gb/s sebességgel dolgoznak, így csökkentik a Grace és a hoszt CPU terhelését.
- LPDDR5X memóriarendszer: szolgáltatási állapot és adatellátás; magas memória‑sávszélességet biztosít.
- PCIe Gen6 hosztkapcsolat: nagysávszélességű útvonal a hoszt és a Scale‑In feldolgozó domén között.
- 800 Gb/s hálózati interfész: összeköti a szervert a Scale‑In fabric‑szal.
A BlueField‑4 a BlueField‑3‑hoz képest 4x több memória‑sávszélességet és 2x több hálózati sávszélességet kínál, ami több egyidejű szolgáltatás, nagyobb policy‑ és telemetria‑adatbázisok, valamint nagyobb forgalom‑ és biztonsági feldolgozási kapacitás kiszolgálását teszi lehetővé.
DOCA: a szolgáltatások programozása és üzemeltetése
NVIDIA DOCA a BlueField‑4 hardveres gyorsítóit programozható, deploy‑olható infrastruktúraszolgáltatásokká alakítja. Jellemzői:
- Konténerizált, éles használatra kész DOCA mikroszolgáltatások futtathatók közvetlenül BlueField‑4‑en.
- DOCA könyvtárak és SDK‑k fejlesztők számára gyorsított hálózati, biztonsági, tár és telemetria képességeket tesznek elérhetővé.
- DOCA Flow: hardveres csomagfeldolgozó csővezetékek programozása.
- DOCA PCC: programozható torlódáskezelés.
- DOCA Telemetry: eszköz‑ és szolgáltatás‑egészség kiemelése.
- DOCA Platform Framework (DPF): provisioning, deployment és frissítések kezelése.
BlueField‑4 multiszolgáltatásos architektúrája és natív szolgáltatás‑láncolása biztosítja, hogy egy forgalmi áramlat a szükséges szolgáltatások során menjen végig anélkül, hogy minden szerveren külön kezelnék a pipeline‑okat.
Spectrum‑X Ethernet: a Scale‑In hálózati szövete
NVIDIA Spectrum‑X Ethernet adja a magas teljesítményű fabric‑ot a Scale‑In hozzáférési úton, beleértve a külső tárhelyet is. Feladatai:
- A forgalom szállítása az AI gyár és a felhasználók, alkalmazások, adatforrások, szolgáltatások és külső tárolók között.
- Terheléselosztási konfliktusok és torlódás kezelésében segít, javítja az erőforrás‑kihasználtságot és fenntartja a magas effektív sávszélességet.
- Elkülöníti a párhuzamos forgalmakat, így a hozzáférési és tárolási áramok kiszámíthatóbb teljesítményt kapnak.
BlueField‑4, DOCA és Spectrum‑X együtt lettek ko‑tervezve az NVIDIA Vera Rubin platformmal, hogy a processzor‑teljesítmény, memória‑sávszélesség, PCIe‑kapcsolatok, hálózati sávszélesség és gyorsítás összhangban maradjon.
Gyakorlati Scale‑In felhasználási esetek
A cikk több tipikus, gyártásorientált esetet emel ki, ahol a Scale‑In különösen fontos:
-
Izolált AI gyári virtuális privát felhők (VPC‑k): DOCA Host‑Based Networking (HBN) gyorsítja a north‑south Layer‑3 routingot és a multi‑tenant izolációt BlueField‑4‑en. OVS‑DOCA és BlueField Astra kiterjeszti ugyanazt a policy‑modellt east‑west felé is. Vera Rubinben ez a megközelítés 7.2 Tb/s aggregált interfész‑sávszélességet fed le: 800 Gb/s a north‑south BlueField‑4 úton és négy 1.6 Tb/s east‑west útvonal számításos tálcánként.
-
Biztonság hardverben (silicon‑ban): BlueField‑4 hardveres végrehajtási pontot ad, amelyet a tenant szoftver nem kerülhet ki. DOCA Argus, DOCA Vault és DOCA Flow segítik a futásidejű fenyegetésfelismerést, fájlhozzáférési policyk érvényesítését és vonalsebességű hálózati érvényesítést. BlueField Astra szinkronizálja a titkosítást, izolációt és policykat északi‑déli és keleti‑nyugati forgalom között.
-
Gyorsított tárhozzáférés: BlueField‑4 gyorsítja az NVMe‑oF, fájl‑ és objektumprotokollokat RDMA és TCP fölött, tárvirtualizációt és adatmozgatást dedikált infrastruktúrán. Spectrum‑X az AI‑optimalizált Ethernet a tárolási úton; a gyártó állítása szerint a Scale‑In tárolási út akár 1.45x‑ös throughputot érhet el az off‑the‑shelf Ethernethez képest.
-
Az AI gyár vezérlési síkjának futtatása: BlueField‑4 képes a node‑ok onboardolására, hálózati és tárhely‑erőforrások provisioningjára és a hoszt OS hálózaton keresztüli betöltésére. DOCA Platform Framework Kubernetes‑natív keretrendszerként kezeli a BlueField DPU‑k felfedezését, provisioningját, szolgáltatás‑deployját és frissítéseit.
-
Megfigyelés és optimalizáció: DOCA Telemetry kinyeri és exportálja a hálózati, tár‑ és szolgáltatás‑egészség adatait megfigyelő platformok felé, függetlenül a tenant hoszt szoftverétől. Ez flottaszintű láthatóságot ad a torlódások, anomáliák és erőforrás‑korlátok azonosításához.
Következtetés
A Scale‑In a north‑south hozzáférést átalakítja egy koordinált, gyorsított infrastruktúra‑doménné, ahol BlueField‑4 biztosítja a hoszttól független feldolgozást, DOCA a szolgáltatások programozását és üzemeltetését, míg Spectrum‑X Ethernet a magas effektív sávszélességet és teljesítmény‑elkülönítést. Ezek együtt segítik, hogy a skálázott számítási erőforrásokból működő, nagy sávszélességű agentikus AI gyárak biztonságos, megfigyelhető és hatékony infrastruktúrát kapjanak.
Továbblépés
A cikk hivatkozik az NVIDIA BlueField platform termékarchitektúrájára és forrásaira, valamint a NVIDIA Spectrum‑X Ethernetre és a DOCA szoftverkeretre; továbbá elérhető a DOCA letöltése és a DOCA kezdő útmutató a fejlesztéshez és mintákhoz.
