NVIDIA Groq 3 LPX az interaktív AI inferencia gyorsítójaként szerepel az NVIDIA Vera Rubin platformon. A platform magját képezi az NVIDIA Vera Rubin NVL72, amelyet a cég a legváltozatosabb gépnek nevez, és amely magas áteresztőképességet és interaktivitást ígér széles skálájú AI feladatokhoz — kis és nagy modellekhez, nyílt és zárt modellekhez egyaránt. A Groq 3 LPX párosítása a Vera Rubin NVL72-vel bővíti a platform azon képességét, hogy a legmagasabb interaktivitási szinteket szolgálja ki, így támogatva az „AI factory” jellegű felhasználói élményeket.
Miért fontos a hosszú kontextus nagy interaktivitás mellett?
Agentikus (multi‑turn) munkameneteknél minden forduló végén az ügynök kimenete hozzáadódik a növekvő kontextushoz, amely bekerül a következő fordulókba. A kontextus több száz vagy akár több százezer tokenre nőhet egy hosszú, sok fordulóból álló munkamenet során. Ha a rendszer nem tudja kezelni a hosszú kontextust, az ügynök csak a releváns előzmények egy részét tudja figyelembe venni; ez korlátozza a képességeit, függetlenül a modell intelligenciájától vagy nyers sebességétől. A legerősebb ügynököknek tehát egyszerre kell fenntartaniuk a gyors válaszadást és a növekvő, hosszú kontextus megőrzését.
Miért kihívás ultragyors interaktivitást biztosítani hosszú kontextus mellett?
100K kontextust kezelő KV cache mellett modell szolgáltatása felhasználónként több mint 3,000 token/másodperc sebességgel különleges rendszertervezési problémát jelent. A tensor parallelism (TP) és egyéb oszd meg és uralkodj technikák nagymértékű gyorsulást adhatnak, de ezek hatékonysága erősen függ a koordináció költségeitől (kollektív műveletek). A nagyon kis batch‑méretek, amelyeket a magas interaktivitás megkövetel, érzékenyek a rögzített koordinációs költségekre, amelyek felülmúlhatják a TP által nyújtott időmegtakarítást.
A chipek közötti adatátvitelt befolyásolja az egyes átviteli tranzakciók két komponense: az első bit késleltetés (a kommunikációs csatorna kiválasztása, a feladó és fogadó szinkronizálása, esetleges ütközések kezelése) és maga az átvitel ideje (az átküldendő adatmennyiség és a hálózati sávszélesség függvénye). Kis batch esetén az első bit késleltetés gyakran lesz a szűk keresztmetszet — ezért fontos ennek minimalizálása.
Hogyan csökkenti a Groq 3 LPX ezeket a költségeket?
A Groq 3 LPX a fordító (compiler) által ütemezett munkatervezésre épít, kombinálva a racken belüli chip‑to‑chip (C2C) hálózattal és a számítás és interprocesszor‑kommunikáció erőteljes átfedésével.
-
Determinisztikus, előre ütemezett interchip kommunikáció: a Groq 3 LPX determinisztikus végrehajtási modellt használ, amelyet a fordító úgy ismer, hogy láthatja az egyes számítási egységeket az 256 LP30 helyi feldolgozó egységben (LPU), a teljes 128 GB SRAM‑t, és a chipekenként 96 C2C linket, amelyek 112 Gbps‑en futnak. A fordító előre, órajel‑ciklus pontossággal létrehoz egy ütemtervet, így nincs szükség futásidejű átviteli választásra vagy arbitrációra. Ennek eredménye, hogy az LPUk pontosan a tervezett ciklusban küldhetik és fogyaszthatják az adatokat.
-
Pont‑pont linkek és LPU routing: a linkek pont‑pont párok között működnek, és minden LPU egyszerre tud router és processzor is lenni, így az adatok szükség esetén más LPUkon keresztül is eljuttathatók a célhoz.
-
Finomgranuláris számítás‑kommunikáció átfedés: a fordító a 320 bájtos vektorok szintjén ütemezi a munkát. A mátrixszorzásokat sorozatos skaláris (vagy oszlop) műveletekként kezelve a rendszer képes elküldeni a részeredményeket (320 bájtos szeletet) azonnal, amint azok elkészültek, ahelyett, hogy megvárná az egész mátrixművelet befejezését. Ez különösen fontos kis tenzorokkal dolgozó, alacsony késleltetésű esetekben.
Ezek az elvek lehetővé teszik, hogy a Groq 3 LPX a TP előnyeit kihasználja még kis batch‑méretek és magas interaktivitás mellett is, mivel a rögzített kezdeti átviteli idő (first‑bit latency) lecsökken az abszolút minimumra.
Harmadik fél mérései: Artificial Analysis 100K benchmark
A független Artificial Analysis mérőcsomagjaival tesztelte a Gemma 4 modellt (31 milliárd paraméter, kiadva április 2026‑ban) 100K kontextushossz mellett. NVIDIA saját adatközpontjában üzemeltetett Groq 3 LPX rendszer a mérés szerint 3,431 kimeneti token/másodperc medián sebességet ért el 100K input token esetén. Ugyanezzel a benchmarkkal 10K kontextushosszon a medián sebesség 3,382 token/másodperc volt.
A mérések során az „o200K_basetokens” tokenizert használták, közös tokenizálásként minden modellel és szolgáltatóval. NVIDIA és Artificial Analysis ellenőrizték továbbá, hogy a konfiguráció nem eredményezett pontosság‑ vagy minőségvesztést a modell kimenetében.
Kódolási feladatok: SPEED‑Bench eredmények
Kódolásra specializált SPEED‑Bench méréseken ugyanazzal a Gemma 4 modellel a Groq 3 LPX rendszer medián jelképzési sebessége 4,767 output token/másodperc volt, P80 érték (80. percentilis) 5,520 token/másodperc — azaz a feladatok 20%-a több mint 5,500 token/másodperc sebességgel készült el.
Mit jelent ez a gyakorlatban?
A szerzők említik, hogy 5,000 token dekódolása a mért sebességnél nagyjából 1,5 másodpercet vesz igénybe; ez összehasonlítva egy 100 token/másodperces szolgáltatással körülbelül 50 másodperc lenne. (A cikk megjegyzi, hogy sok jelenlegi agentikus eszköz gyakorlatban inkább ~60 token/másodperc körül működik.) Ez a sebességkülönbség jelentősen javíthatja a felhasználói élményt olyan munkafolyamatoknál, ahol az ügynök sok fájlt olvas be és hosszú kontextust kell fenntartania.
Vera Rubin NVL72 és Groq 3 LPX együttműködési lehetőségek
A Groq 3 LPX alacsony késleltetésű, determinisztikus végrehajtása különböző kiszolgálási konfigurációkkal párosítható a Vera Rubin NVL72 rackekkel, például:
- Standard prefill‑decode disaggregation: NVL72 végzi a prefill lépést és átadja a KV cache‑t fordulónként; Groq 3 LPX a KV cache és a SRAM‑ban tárolt súlyok felhasználásával végzi a dekódolást.
- Attention‑FFN disaggregation: NVL72 számolja az attention rétegeket és DRAM‑ban tartja a KV cache‑t, míg Groq 3 LPX az FFN rétegeket futtatja; csak köztes tokenek mennek rackek között rétegenként.
- External‑drafter speculative decoding: Groq 3 LPX egy kisebb draft modellt futtat előre, NVL72 a nagy céltmodellként ellenőrzi és véglegesíti a tokeneket; mindkét rack megtartja saját KV cache‑ét.
Ezek a felosztások lehetővé teszik, hogy minden rack a számára legmegfelelőbb munkarészt végezze, és a közösen kialakított megoldás új szintekre emelje a platform interaktivitását és alacsony késleltetését.
Összegzés
A független mérések megerősítik, hogy a Groq 3 LPX vezető interaktivitást nyújt olyan kontextushossznál, amely kritikus az agentikus munkafolyamatokhoz. A determinisztikus ütemezésre és finomgranuláris számítás‑kommunikáció átfedésre építő architektúra lehetővé teszi, hogy a tensor parallelism előnyei érvényesüljenek még kis batch‑méretek mellett is. NVIDIA további részleteket és belső leírást is közölt a Groq 3 LPX‑ről azok számára, akik mélyebben szeretnék megérteni a műszaki megoldásokat.
