Agentikus AI (agentic AI) kibővíti a hagyományos inferencia-folyamatot: egyetlen kérés többszörös modellt és eszközt hívhat meg, hozzáféréseket kezdeményezhet memóriába és tárterületre, illetve policy-ellenőrzéseket és hálózati átvitelek sorát indíthatja el, mire megszületik a válasz. Ezért az AI gyárak infrastruktúrájának képesnek kell lennie nagy sebességgel mozgatni, védeni, visszakeresni és újrahasznosítani az adatokat úgy, hogy közben a GPU‑k és CPU‑k hasznos időben maradjanak.
BlueField és DOCA szerepe
Az NVIDIA BlueField platform dedikált, programozható infrastruktúra‑feldolgozást visz az AI gyár adatútjába. A BlueField leválasztja az infrastruktúra munkát a hoszt CPU‑ról, felgyorsítja az adathálózati és tárolási mozgatásokat, inline módon érvényesít policy‑kat, és lehetővé teszi a kontextusok újrafelhasználását. Ezek a képességek gyakorlati eredményekhez vezetnek: jobb GPU‑kihasználtság, kiszámíthatóbb késleltetés, erősebb izoláció, alacsonyabb költség per token és több token per watt.
A megoldás három fő összetevőből áll: a BlueField‑4 DPU‑kból, a Vera BlueField‑4 STX tárolóprocesszorokból, és a DOCA szoftveralapból. A BlueField‑4 DPU leválasztja, gyorsítja és elszigeteli a hálózatot, tárhelyet, biztonságot, telemetriát és control‑plane szolgáltatásokat a hoszt CPU‑któl, miközben gyorsítja az adatmozgást GPU és CPU rendszerek között. A Vera BlueField‑4 STX storage processzorok új típusú adatplatformokat hajtanak meg kontextusmemóriához, nagy teljesítményű tárolási infrastruktúrához és biztonságos adatszolgáltatásokhoz.
A DOCA szoftveralap biztosítja a programozható réteget, amellyel hálózati, tárhelyi, biztonsági, telemetriai és életciklus‑szolgáltatásokat lehet építeni és üzemeltetni az AI gyárban. A Vera Rubin platformban és az NVIDIA DSX architektúrában a BlueField gyorsított infrastruktúrát ad, míg a DOCA a szolgáltatások telepítésének programozható modelljét.
Miért válik az infrastruktúra az inferencia részévé?
Agentikus AI során az inferencia több komponensen átívelő, elosztott munkafolyamattá nő: GPU‑k, CPU‑k, memóriák, hálózat, tárhely és biztonsági szolgáltatások mind szerepet kapnak. A GPU‑k a modellezést és token‑generálást végzik, a CPU‑k az agent runtime‑ot menedzselik (eszközhívások, lekérések feldolgozása, prompt előkészítése, eredmények validálása). Kulcskérdés a kontextus megőrzése és visszakeresése — különösen a KV cache esetén.
A nagy modellek előtöltés (prefill) során KV cache adat jön létre, amely a figyelmi állapot köztes adatait tárolja. Ahogy a beszélgetés és agent munkafolyamatok növekednek, a cache állapotát gyakran kell megőrizni és újrahasználni. Amikor a GPU memória szűkössé válik, a rendszerek kiüríthetik, újból kiszámolhatják vagy más memóriaszintre mozgatják a KV‑t, ami késleltetést, áteresztőképesség‑visszaesést vagy magasabb költséget eredményez.
Ebből következik, hogy a hálózatnak, tárhelynek, biztonságnak, telemetriának és kontextuskezelésnek az adatút részévé kell válnia — gyorsan kell feldolgoznia az agent forgalmat anélkül, hogy lelassítaná a GPU inferenciát vagy elvenné a hoszt CPU‑k kapacitását.
BlueField‑4 mint az AI gyár operációs rendszere
A BlueField‑4 a dedikált infrastruktúra‑processzor, amely a Rubin GPU‑k és NVIDIA Vera CPU‑k mellett működve összeköti, biztosítja, izolálja és gyorsítja a szolgáltatásokat az AI gyárban. A BlueField‑4 DPU jellemzői közé tartozik:
- akár 800 Gb/s Ethernet vagy InfiniBand csatlakozás,
- egy 64‑magos NVIDIA Grace CPU integrációja,
- nagy sávszélességű LPDDR5X memória,
- PCIe Gen6 csatolás,
- inline gyorsítás hálózat, tárhely, biztonság és adatmozgás számára,
- és a DOCA szoftverplatform támogatása.
A BlueField‑4 a BlueField‑3‑hoz képest megduplázza a hálózati sávszélességet, akár 6×‑os számítási teljesítmény‑növekedést, 4×‑es memóriakapacitást és több mint 3×‑os memóriasávszélességet hoz.
A BlueField‑4 STX storage processzor a Vera CPU‑t, ConnectX‑9 SuperNIC‑et, akár 1,6 Tb/s Spectrum‑X Ethernet csatlakozást, gyors NVMe elérést, gyorsított adatmozgatást és in‑silicon biztonsági funkciókat egyesíti.
DOCA: a programozható infrastruktúra‑réteg
A DOCA a hardveres alapot programozható szolgáltatásokra fordítja, könyvtárakat és mikroszolgáltatásokat adva a fejlesztőknek és üzemeltetőknek. Néhány kiemelt DOCA‑funkció:
- DOCA Host‑Based Networking (HBN): szerveroldali Layer‑3 routing támogatása, ahol a BlueField BGP routerként működhet skálázható, többbérlős rendszerekben.
- BlueField ASTRA: Spectrum‑X alapú, zero‑trust, többbérlős bare‑metal telepítések menedzselésére, ahol a BlueField vezérlőpontként működik ConnectX‑9‑csel.
- DOCA Memos: KV cache kezelés és megosztás compute és storage csomópontok között, hogy a kontextus újrahasznosítható legyen hosszú kontextusú és agentikus inferencia során.
- DOCA biztonsági szolgáltatások: zero‑trust hozzáférés, policy érvényesítés, futási időbeni láthatóság és izoláció biztosítása.
Ezek együttesen lehetővé teszik, hogy a hálózat, tárhely, biztonság, kontextuskezelés és vezérlési szolgáltatások közel maradjanak az adatútvonalhoz, ahelyett hogy a hoszt CPU‑kkal versenyezzenek erőforrásokért.
Rendszerszintű képességek és Vera Rubin AI gyár
A Vera Rubin platformot kifejezetten agentikus AI‑terhelésekhez tervezték: nagy áteresztőképességű inferencia, sűrű CPU‑végrehajtás, nagy kontextusmemória és biztonságos adatmozgatás szükséges. A Rubin GPU‑k adják a gyorsított számítást, a Vera CPU‑k a tool‑hívásokat és orchestrationt, NVLink a skálázott kommunikációt, míg ConnectX‑9 és Spectrum‑X a scale‑out hálózatot. A BlueField ebben az architektúrában a compute, hálózat, tárhely és biztonság szintjein át működik.
GPU compute: a BlueField‑4 a GPU compute tálcák infrastruktúra‑processzoraként működik, előoldali (north‑south) hálózatot, hoszt CPU offloadot, biztonságos adat‑hozzáférést, menedzsmentet és observability‑t biztosítva. Ezzel csökkenti, hogy a hoszt CPU‑k infrastruktúraszolgáltatások miatt torlódjanak, így a GPU‑k kiszámíthatóbb késleltetéssel és magasabb token‑árammal dolgozhatnak.
CPU végrehajtás: az agentikus munkafolyamatok miatt a Vera CPU‑k sokat foglalkoznak eszközhívásokkal, lekérdezésekkel és a munkafolyamatok koordinálásával. A BlueField‑4 elvégzi a front‑end hálózati, tárolási, biztonsági és vezérlési feladatokat a DPU‑tartományban, hogy a Vera CPU‑k a helyben fontos agent‑végrehajtásra fókuszálhassanak.
AI‑natív tárhely és kontextusmemória: az NVIDIA CMX platform megteremti a skálázható, megosztható és energiahatékony AI‑natív tárolási réteget a GPU memória és a skálázható megosztott tár között, optimalizálva a KV cache‑hez. A Vera BlueField‑4 STX storage processzor közel futtatja a KV I/O‑t, metaadat‑kezelést, adat‑elhelyezést, biztonságot és vezérlést, így a flash nem csupán blokk‑tárként viselkedik, hanem KV‑specifikus szolgáltatásokat nyújt.
DOCA Memos lehetővé teszi a KV cache megosztását AI compute és CMX csomópontok között, ami csökkenti az ismételt prefillezést, a GPU‑k üresjáratát és a felesleges adatmozgatást — javítva ezzel a token‑per‑másodperc és energiahatékonyságot hosszú kontextusú munkák esetén.
In‑silicon védelem és többbérlős biztonság
Mivel az agentek ismételt és széleskörű hozzáféréseket hajthatnak végre modellekhez, adatokhoz, eszközökhöz és kontextusmemóriához, az AI gyárak biztonsági modellje nem támaszkodhat kizárólag hoszt‑szoftverre. A BlueField az infrastruktúra biztonsági feldolgozását in‑silicon viszi ki a hoszt doménből, erősítve ezzel a vezérlési határokat és megőrizve a CPU/GPU erőforrásokat AI feladatra.
Ez különösen fontos többbérlős környezetben: inline védelem, tenant izoláció, hálózati policy érvényesítés, biztonságos hozzáférés, runtime észlelés, titkosítás és telemetria biztosítható anélkül, hogy lelassulna az adatútvonal.
Következtetés
Az agentikus AI megváltoztatja az inferencia infrastruktúra‑igényét: a rendszereknek gyorsan kell mozgatniuk, védeniük, visszakeresniük és újrahasznosítaniuk a kontextusadatokat anélkül, hogy a GPU és CPU produktivitása csökkenne. A BlueField‑4, Vera BlueField‑4 STX és a DOCA együtt olyan hardver‑szoftver architektúrát kínálnak, amely in‑line gyorsítja és leválasztja az infrastruktúra szolgáltatásokat, javítva az interaktivitást, izolációt, GPU‑kihasználtságot, valamint a költség és energia hatékonyságot token‑alapon.
Elinduláshoz
Az NVIDIA javaslata szerint a fejlesztők töltsék le a DOCA‑t, telepítsék a legfrissebb kiadást és futtassák a mintákat, hogy elkezdhessék a BlueField programozását hálózat‑, tárhely‑, biztonság‑, telemetria‑ és életciklus‑menedzsment gyorsítására.
