Agentikus rendszerek többlépéses munkafolyamatokkal alakítják a modellérvelést tényleges műveletté — ide tartozik az inferencia, eszközhasználat, kódvégrehajtás, visszakeresés, koordináció és eredménykezelés. Amint ezek a rendszerek kiterjesztett „AI factory” környezetben futnak, a teljesítmény nem csupán a GPU-gyorsításon múlik: kulcsfontosságú a lépéseket összekötő CPU-munka is.
A CPU kritikus szerepet játszik a GPU-erőforrások hatékony kihasználásában, a válaszidőben és a tanulás sebességében, mert végrehajtja a modelllépések közötti feladatokat: sandbox-értékeléseket, eszközhívásokat, kódvégrehajtást, adatelőkészítést, KV-cache koordinációt és eredménykezelést. Az agentikus AI-nál az egyik legfontosabb CPU-mutató a fenntartható magteljesítmény teljes foglaltság mellett (sustained per-core performance under full socket load). Több mag növeli a párhuzamosságot a különböző munkafolyamatok között; gyorsabb magok határozzák meg, hogy az egyes, lépésenként haladó munkafolyamatok milyen gyorsan jutnak előre.
Ha a CPU-oldali végrehajtás lassul, a GPU-flotta három módon szenved:
- a megerősítéses tanulás (RL) kevesebb hasznos értékelést kap ciklusonként, így megnő az időkig a tréningig (time-to-train);
- nő az egyes felhasználói lekérések kiszolgálásához szükséges idő;
- a KV-cache kilökődhet, és elvesznek a gyorsítótár használatának megtakarításai.
A következők bemutatják, hogyan kezeli ezeket a kihívásokat az NVIDIA Vera CPU, és milyen tervezési döntések maximalizálják a flotta teljesítményét.
Gyorsabb és hatékonyabb ügynökök: hatás a megerősítéses tanulásra
A megerősítéses tanulás újrastrukturálja a GPU–CPU közötti számítási kapcsolatot egy folyamatos, interaktív visszacsatolási hurkkal. Ellentétben a hagyományos off-line tanítással, ahol az adatok egyszerűen az akselerátorokhoz érkeznek, az RL aktív tapasztalatgenerálást követel meg — a környezet-átfutások (rollout) vagy szimulációk szakaszai erősen soros, logikaintenzív feldolgozást igényelnek.
Amikor a processzor megreked ezekben a nagy párhuzamosságú rollout-fázisokban, az egész tréning-pipeline lassul; kevesebb környezeti lépés fejeződik be másodpercenként, és romlik a modell frissítéséhez (gradiens) szükséges jel minősége. A cikk szerint egy referencia-CPU például csak a szükséges értékelések 45%-át tudja teljesíteni az adott ablakban, míg a Vera CPU 1.8× gyorsabb magteljesítménnyel ugyanabban az ablakban akár 85%-ot képes teljesíteni.
Ez több és jobb minőségű RL-visszajelzést jelent a GPU számára, ami pontosabb gradienseket tesz lehetővé, lerövidítve a konvergenciaidőt és jobb politikák kialakulását. Ezt a javulást az NVIDIA Olympus magmikroarchitektúrája, a speciális prediktorok és más fejlesztések teszik lehetővé. A Vera CPU főbb jellemzői és RL-re gyakorolt hatásuk a következők:
- Neural branch predictor: javítja az utasításcsővezetést komplex vezérlési útvonalak (Python, szimulátorok, jutalomlogika, eszközök) esetén.
- 10-wide decode front end: több utasítást táplál be ciklusonként, növelve az áteresztőképességet.
- Mély out-of-order végrehajtás: jobb előrehaladás hosszú várakozási latenciájú műveletek körül.
- NVIDIA Spatial Multithreading: magas per-mag teljesítményt tart fenn ezer párhuzamos környezet skálázásakor.
Ezek az elemek együtt csökkentik a CPU-stallokat és növelik azt a környezeti értékelési arányt, amelyből a GPU hasznos RL-jelzést kap.
Több felhasználó kiszolgálása alacsonyabb késleltetéssel
Az off-line tréningről az élő, interaktív üzemre váltásnál a fő metrika a tiszta áteresztőképesség helyett a kiszámítható, alacsony késleltetés lesz. Az agentikus ügynökök autonóm módon oldanak meg összetett kéréseket, amelyek lépései eszközhívásokat, kódvégrehajtást, tesztfordítást vagy adatlekérdezést igényelnek a modell folytatásához.
A Vera CPU-t kifejezetten úgy tervezték, hogy csökkentse a feltöltött (loaded) socketeknél jelentkező késleltetésbüntetést. Ennek része, hogy elkerüli a több-chipletes CPU-kra jellemző teljesítményeséseket: a Vera monolitikus számítódarabja 88 Olympus maggal csökkenti a chiplet- vagy sub-NUMA átjárásokból fakadó magközi ugrásokat. Nagy, egységes gyorsítótárral és a NVIDIA Scalable Coherency Fabric (SCF) segítségével az adatok egyenletesebben mozognak a rendszerben.
Agyon hangsúlyozott eredményként a cikk szerint a Vera CPU körülbelül 40%‑kal alacsonyabb csúcs feltöltött késleltetést ér el egy x86 CPU-hoz képest, ami javítja a far-tail (véglet) késleltetési jellemzőket és segít, hogy az eszközválaszok időben érkezzenek.
Emellett az agentikus munkaterheletek hatalmas memóriasávszélességet igényelnek: több ezer egyidejű sandbox, eszközhívás, visszakeresés és adatfeldolgozás mozgat nagy, szabálytalan adatokat, miközben az állapotot és kontextust a magok közelében kell tartani. A Vera CPU LPDDR5x memóriát használva akár 1.2 TB/s összmemóriasávszélességet és magonként akár 14 GB/s sávszélességet kínál. Ez több mint 3×-os per‑mag sávszélesség egy hagyományos adatközponti CPU‑hoz képest, miközben a cikk szerint kevesebb mint a felét fogyasztja annak az energiafelhasználásnak. Ezek az erőforrások segítik a magokat fenntartani az áteresztőképességet, még akkor is, ha minden mag aktív.
Az eredmény egy jobb válaszidőkkel és szigorú SLA‑kkal tartható agentikus AI‑pipeline anélkül, hogy a hardver szűk keresztmetszet volna.
Több GPU-számítás egy sessionönként: KV-cache megőrzése
Agentikus inferenciánál a GPU munka gyakran megszakított; egyetlen munkamenet több modelllépést tartalmazhat, amelyeket CPU-oldali eszközhívások, kódfuttatás, visszakeresés vagy sandbox értékelések választanak el. Telített adatközponti környezetben a GPU nem várja ki ezeket a szakadékokat: a CPU eközben más kéréseket vesz át, és új aktív kontextusokat kezel. Ahogy halmozódnak a kérések, nehezebb megtartani az eredeti kérés KV-cache-ét a GPU memóriájában.
A lassabb CPU növeli a GPU-lépések közötti résidőt, ezáltal valószínűbbé válik, hogy a rendszer kilöki az adott munkamenet KV-cache-ét a gyors GPU-memóriából (HBM), hogy helyet adjon más, futásra kész munkáknak. A befejeződés után a GPU ilyenkor kénytelen lehet újraépíteni az előző kontextust költséges recompute segítségével.
A Vera CPU csökkenti ezt az ablakot: gyorsabb eszközvégrehajtás, erősebb per‑mag teljesítmény teljes terhelésnél, magas memóriasávszélesség és kiszámítható késleltetés rövidíti a GPU-lépések közti várakozást. Ennek eredményeként kisebb a nyomás a KV-cache kilökésére, több aktív kontextus marad HBM‑ben, és kevesebb az újraszámolás miatti pazarlás. Több GPU‑idő jut tényleges token-generálásra a context‑rekonstrukció helyett, így a CPU teljesítménye közvetlenül hozzájárul a GPU hatékonyságához telített agentikus rendszerekben.
Következtetés: CPU mint kulcstalálkozó az AI factory‑ban
Az NVIDIA Vera CPU összpontosít azokra a képességekre, amelyek az agentikus AI gyártósorán számítanak: fenntartható per‑mag teljesítmény, kiszámítható alacsony feltöltött késleltetés, hatalmas memóriasávszélesség és hatékony adatmozgás nagy skálán. Ahogy az agentikus AI terjed, a CPU már nem háttérinfrastruktúra, hanem közvetlen hajtóereje az áteresztőképességnek, a válaszidőnek és a GPU‑hatékonyságnak. A kisebb megakadások, kevesebb recompute és a jobb terheléskezelés révén az NVIDIA Vera CPU-t úgy tervezték, hogy maximalizálja a következő generációs agentikus AI‑gyárak teljesítményét.
A cikk hivatkozik a Vera CPU részleteire, az NVIDIA Vera Rubin NVL72 megoldásra és a Phoronix által végzett Vera CPU benchmarkokra. A relatív teljesítmény méréseken alapul, és változhat; a Vera CPU LPDDR5X‑es konfigurációját egy összehasonlító x86 CPU‑hoz viszonyítják.
