A NVIDIA bemutatta az OpenShell referencia-architektúrát, amely a szoftveres futtatókörnyezetet (OpenShell) és a hardver réteget (NVIDIA Vera CPU-k), valamint opcionálisan a BlueField-4 DPU-kat és a NVIDIA Sentry keretrendszert kombinálja. A cél egy olyan skálázható, irányított környezet létrehozása, ahol autonóm ügynökök hosszú ideig futó, összetett feladatokat végezhetnek biztonságosan, az infrastruktúra által ellenőrzött és naplózott határok között.
Miért van szükség erre?
Autonóm ügynökök órákon át dolgozhatnak összetett feladatokon: fájlokhoz, eszközökhöz és internetes szolgáltatásokhoz férhetnek hozzá, sőt további ügynököket indíthatnak el. Mivel a munkájuk lépések sorozatából áll, amelyek egymásra épülnek, a jogosultságok, letöltött kódok és eszközhasználat következtében növekszik a kockázat. Az ügynökök célorientált viselkedése miatt nem feltétlenül helyeznek prioritást a biztonságra, ezért a kormányzásnak és a felügyeletnek az ügynökön kívüli infrastruktúrában kell lennie.
OpenShell: determinisztikus kormányzás az ügynökön kívül
NVIDIA OpenShell egy nyílt forráskódú futtatókörnyezet, amely az ügynöki rendszerek számára szükséges biztonságot és kormányzást beépíthetővé teszi az infrastruktúrába. OpenShell meghatározza és érvényesíti, hogy egy ügynök milyen rendszerekhez és adatokhoz férhet hozzá — fájloktól és internetes szolgáltatásoktól kezdve olyan rendszerekig, amelyek fizikai eszközökkel kommunikálnak.
OpenShell alapelve, hogy az ügynök munkaterhelését végig megbízhatatlannak kezeli; az ügynök csak a szükséges erőforrásokat kapja meg, akkor és addig, amíg kell. A rendszer négy fő komponensből áll:
- Gateway: a vezérlési sík, amely kezeli a sandboxok életciklusát és a szabályzatokat.
- Supervisor: a kimenő kéréseket szabályzat szerint ellenőrzi és kezeli a hitelesítő adatokhoz való hozzáférést; ez a komponens teljesen külön fut a sandboxtól.
- Sandbox: elszigeteli az ügynök futtatását és korlátozza a fájlrendszer- és folyamat-hozzáférést.
- Policy prover: formális ellenőrzést ad hozzá, hogy a szabályzat engedélyei szervezeti plafonon belül maradnak-e.
Ezek a rétegek együtt lehetővé teszik, hogy az ügynökök alkalmazkodjanak és fejlődjenek, miközben az infrastruktúra biztosítja a kontrollt és láthatóságot.
Kiterjeszthetőség és integráció
Az OpenShell tervezésének alapelve az bővíthetőség: a Supervisor middleware segítségével a hálózati forgalmat meg lehet vizsgálni, blokkolni vagy módosítani további végrehajtási rétegként. A Gateway interceptors lehetővé teszik, hogy az operátorok telepítés-specifikus kormányzást adjanak hozzá anélkül, hogy magát a gatewayt módosítani kellene.
Az identitáskezelés, jogosultság, adatvédelem és auditálás mind részei annak a problémakörnek, hogy „kiért” dolgozik egy ügynök és milyen jogosultságai vannak; OpenShell olyan végrehajtási pontokat nyújt, ahol ezek a rendszerek integrálhatók.
Vera: a számítási réteg az OpenShell fölött
Az OpenShell meghatározza, mit tehet az ügynök, de az NVIDIA Vera CPU-k határozzák meg, milyen gyorsan teszi azt. Ügynökfeladatok sorozatokból álló, egymásra épülő hurkokat futtatnak, ahol minden lépés befejezése után jöhet a következő (pl. gondolkodás, eszközhívás, kódvégrehajtás, adatlekérdezés). Az "AI factory" jellegű működés ezeket a hurkokat tömegesen párhuzamosítja, ami az alábbi öt dimenzióban támaszt követelményeket a CPU-architektúrával szemben:
- nagy magszám a sok párhuzamos munkafolyamhoz és gyors magok az egyes szekvenciális lépések rövidítéséhez;
- nagy sávszélességű koherens hálózat és memória az adatigény kielégítéséhez;
- nagy I/O sávszélesség CPU-k, GPU-k, tároló és hálózat között;
- hardveresen érvényesített biztonság az érzékeny vállalati adatok izolálásához;
- energiahatékony megoldás, amely több ügynökmunkát tesz lehetővé watt-onként.
NVIDIA Vera erre a kombinációra épül: 88 NVIDIA-tervezésű Olympus mag, második generációs Scalable Coherency Fabric, LPDDR5X memória, PCIe Gen 6 I/O, bizalmas számítástechnika és energiahatékony tervezés.
Mi teszi Verát gyorssá az ügynökfeladatokhoz?
Három architekturális tulajdonság kiemelten fontos:
- Magteljesítmény: 88 Olympus mag 10-wide front enddel, neurális elágazás-előrejelzővel és mély out-of-order végrehajtással. NVIDIA szerint ez kritikus ügynöki feladatoknál akár 2× gyorsulást adhat az x86-hoz képest.
- Magközi sávszélesség és késleltetés: a második generációs Scalable Coherency Fabric akár 3× nagyobb magközi sávszélességet és akár 50% alacsonyabb magközi késleltetést kínál az x86 alternatívákkal szemben. Vera integrál 96 PCIe Gen 6 sávot is az nagy I/O-igény kielégítéséhez.
- Memória-sávszélesség: LPDDR5X memóriarendszer akár 1,2 TB/s sávszélességgel és akár 40% alacsonyabb betöltött memória-késleltetéssel a chiplet-alapú megoldásokhoz képest. LPDDR5X jelentősen hatékonyabb energiafelhasználást is lehetővé tesz: Vera 2× jobb teljesítményt ad watt-onként az x86 CPU-khoz viszonyítva, miközben a memória alrendszer nagyságrenddel kevesebb energiát fogyaszt, mint DDR5-alapú konfigurációk.
Gyorsabb és sűrűbb sandboxok
Az ügynökfeladatok csak izolált sandboxokban futhatnak biztonságosan: ezekben fut kód, hívnak eszközök és teljesülnek a feladatok úgy, hogy az ügynökök ne zavarják egymást vagy a hostot. Minél gyorsabban és sűrűbben lehet ezeket létrehozni, annál több ügynökmunkát szolgál ki az adott infrastruktúra.
A CoreWeave, egy skálázható AI felhőplatform, mérései szerint a sandbox indítása Verán több mint 3× gyorsabb volt, mint x86-on; egyetlen rack több mint 11 000 egyidejű ügynök-környezetet tudott támogatni. A Terminal Bench mérései — amelyek valós ügynöki hurkokon alapuló CPU-teljesítményt mérnek — 1,8× gyorsabb ügynöki hurkvégrehajtást mutattak Verán az x86-hoz képest, különböző feladatköröknél, a scriptingtől az adatbázis-helyreállításig.
Hardveres elkülönítés: NVIDIA BlueField és Sentry
OpenShell a szoftveres határokat az ügynökön kívül tartja; ahol további védelmi rétegre van szükség, ezt a különálló szilícium is biztosíthatja. Az NVIDIA BlueField-4 DPU-k hardveresen izolált trust-domaint biztosítanak az ügynök hatókörén kívül. A referencia-architektúrában a BlueField-4 az I/O úton helyezkedik el azokon az ügynökökön futó Verák és a hozzájuk elérhető modellek között.
Az NVIDIA Sentry, a NVIDIA DOCA-ra épülő biztonsági szoftverkeret, ebben a független domainben futva folyamatosan figyeli az ügynök viselkedését és érvényesíti a futásidejű szabályzatokat. NVIDIA Sentry megfigyeli a kéréseket és válaszokat, hálózati és fájlműveleteket, ellenőrzi az identitást és a delegált jogosultságokat, és szükség esetén elemzi a kiválasztott host-memóriát eltérések detektálására. Ha fenyegetést vagy szabályzat-sértést észlel, a BlueField-4 szilíciumban képes végrehajtani a karanténba helyezést milliszekundumok alatt.
Teljes verem a skálázható, biztonságos ügynök-futtatáshoz
A Vera számítási, memória- és I/O-képességei fenntartják a több ezer munkafolyamatot, míg az OpenShell a futtatási határokat adja meg: mely akciók hajthatók végre és milyen erőforrások érhetők el. Opcionálisan BlueField-4 és NVIDIA Sentry ad további független megfigyelést és szilíciumbeli végrehajtást.
A NVIDIA Vera Rubin platform, ahol a nagy nyelvi modellek (LLM-ek) is futnak, az OpenShell és a NVIDIA Sentry a BlueField-4-en képezik az OpenShell referencia-architektúra pilléreit: egy hardverben gyökerező, teljes verem, amely teljesítményt ad az ügynököknek és kontrollt az üzemeltetőknek.
Hogyan lehet elkezdeni?
A biztonságos ügynöki kormányzás bevezetéséhez a vállalatok a NVIDIA OpenShell használatával és dokumentációjának követésével kezdhetnek, valamint megvizsgálhatják, hogyan gyorsítják fel az ügynökfeladatokat az NVIDIA Vera CPU-k.
