Agent Substrate egy nyílt forráskódú, biztonságos, zero-trust futtatókörnyezet AI-agentek számára, amelyet a Cloud Native Computing Foundation (CNCF) Sandbox részére adományoztak. Célja, hogy nagy sűrűségben, a hagyományos konténereknél akár tízszer több agentet és eszközt futtasson Kubernetes fölött úgy, hogy megtartja a munkamenetek állapotát (memória és fájlrendszer). Az Agent Substrate multiplexeli a sok rövid életű, gyakran várakozó munkamenetet egy kisebb kész worker Pod-csoporton, és amikor egy actor inaktív, checkpointolja a sandboxot; a következő híváskor egy szabad workerre visszaállítja az állapotot.
Miért van szükség rá
Hagyományos Kubernetes-architektúra nem ideális az agentikus munkafolyamatokhoz, mert ezek a folyamatok rövid lépésekben működnek: egy parancs futtatása, fájl szerkesztése, tesztek lefuttatása vagy egy LLM-hívás, majd várakozás a következő lépésre. Egy Pod előállítása minden lépéshez több másodpercet vesz igénybe (API server, scheduler, kubelet, image pull stb.), vagy folyamatosan „meleg” Podokat kell tartani, ami erőforráspazarlás. Ugyanez a problémakör jelentkezik a megerősítéses tanulás (RL) utótréningjénél is.
Működési elv röviden
Agent Substrate Kubernetes fölött futtat egy kész worker Pod-poolt, és külön vezérlőréteget épít, amely sok actor (agent és környezetei) leképezését végzi a kisebb worker-készletre. Az inaktív actorok gVisor vagy microVM alapú sandboxból snapshotolva (checkpoint) szabadítják fel a worker-t. Amikor az actor újra hívást kap, a korábban mentett memória- és fájlrendszer-állapottal együtt egy szabad workerre visszaállítják. Ez a visszaállítás nem igényel ismételt utazást az API server, scheduler vagy kubelet felé: a munkamenet egy meglévő workeren folytatódik. A worker Podok továbbra is hagyományos Kubernetes Podok, így a cluster szintű ütemezés, kvóták és elhelyezési szabályok érvényesek.
Milyen típusú munkaterhelésekre jó
- Kódolási asszisztensek és agent szolgáltatások: ezek a session-ök váltakoznak LLM-hívások és lokális műveletek (repo klónozás, fájlszerkesztés, build, tesztek) között; a felhasználók állapotmegőrzést és azonnali választ várnak, ezért nem gazdaságos dedikált, meleg sandboxot fenntartani minden session-nek.
- RL utótréning agentikus környezettel: GPU-s trénerek mellett hatalmas, CPU-intenzív környezetflottát kell futtatni (kód-sandboxok, fordítók, böngészők, szimulátorok). A rollout-burstok idején a sandbox-igény robbanásszerűen jelenik meg; a leglassabb környezet késleltetheti a GPU-k kihasználását.
- Kutatási GPU-s sandboxok: kutatók rövid életű GPU-s sandboxokat indítanak CUDA fordításhoz, kernel-benchmarkokhoz vagy numerikus számításokhoz; ezek gyors indítást, izolációt és GPU-megosztást igényelnek.
Fő fejlesztések és állapotuk
A projekt nyilvános (Agent Substrate repository) és több fontos fejlesztés jutott el upstream:
- Kérésparkolás (request parking): amikor minden worker foglalt, a következő kérés nem hibát dob rögtön, hanem vár és ismétli a resume kísérletet egy korlátolt sorban, megakadályozva a fölösleges hibaválaszokat. Egy kapcsolódó javítás biztosítja, hogy a már futó actorokhoz érkező kérések ne akadhassanak be a sorban.
- GPU-eszközök támogatása DRA-n keresztül: dolgoznak a device-pluggability-n, amely lehetővé teszi, hogy eszközgyártók profilon keresztül csatlakoztassák hardvereiket a Kubernetes Dynamic Resource Allocation (DRA) rendszerébe; minden konténer csak a szükséges eszközöket kérheti. Az NVIDIA GPU-k az elsőként támogatott eszközök.
- Konténerenkénti CPU és memória határok microVM sandboxokban: ha egy konténer túllépi a memóriahatárt, azt leállítják anélkül, hogy az egész sandbox megszakadna.
- GPU-állapot megőrzése és visszaállítása: a GPU-k checkpointolása helyhez és driververszióhoz köthető; Agent Substrate javaslata az, hogy az eszközgyártók leírják, hogyan lehet biztonságosan szüneteltetni az eszközt és mely tulajdonságoktól függ a snapshot visszaállítása. A rendszer az eszköz tulajdonságait rögzíti a snapshotban, és csak hasonló eszközre próbálja visszaállítani; ha nincs találat, fallback a tiszta cold start.
Integráció NVIDIA Dynamo-val és a visszacsatolás szerepe
Agent Substrate kezeli, hogy hol futnak az agent-ök; az inference-részlegek — mint az NVIDIA Dynamo — kezelik, hogy hol futnak a modellek. Mindkettő azért küzd, hogy ne pazarolja a meleg sandboxokat (CPU/memória) vagy a modellek kontextusának újraépítését (GPU-ciklusok). Dynamo, egy nyílt forrású elosztott inference keretrendszer, összehangolja az agent-környezetek állapotainak aktiválását, szüneteltetését és visszaállítását a GPU-s inferencia-munkákkal. A Dynamo router összeköti az agent-oldali eseményeket azzal, ami a GPU-kon történik.
Dynamo és Agent Substrate kiegészítik egymást: Dynamo látja, hol van újrahasznosítható KV-cache, mely GPU-worker foglalt prefill vagy decode munkákkal, és mennyire telített a GPU-flotta. Agent Substrate pedig jeleket ad, például session-azonosítót, kérés-prioritást, várt kimenet hosszt, eszköhívás határokat és lifecycle eseményeket. Ennek alapján Dynamo képes például:
- azonosításhoz kapcsolódó modellehívásokat megtartani azon a worker-en, ahol már van releváns KV-cache,
- interaktív köröket előrébb sorolni a háttérfeladatokkal szemben,
- megőrizni rendszerpromptokat, eszközdefiníciókat és beszélgetési előzményeket eszköz-hívások közben,
- megszűnt vagy összefoglalt kontextusok cache-ét először eldobni,
- előkészíteni valószínű kontextust, amint egy eszköz-hívás befejeződéséhez közeledik.
Dynamo visszajelzései (projekción alapuló idő a first tokenig, becsült befejezési idők, cache readiness, GPU-pool telítettség stb.) felhasználhatók Agent Substrate ütemezési döntéseihez: megtartson-e egy actort, szüneteltesse-e a hosszabb inferencia várt idejére, vagy épp visszaállítsa, amikor a modellválasz közeledik. Nagy flotta esetén ez segít a meleg worker-kapacitás hangolásában és a CPU/GPU erőforrások hatékonyabb párosításában.
Hol illeszkedik a stackbe: KAI Scheduler és DSX OS
Agent Substrate Kubernetes fölött fut, KAI Scheduler helyezi el a Podokat, és Dynamo szolgálja ki a modelleket, miközben inferenciaállapot-jeleket cserél az agent runtime-tal. NVIDIA DSX OS komponensek (például AI Cluster Runtime, GPU Operator) a Kubernetes alapot és GPU, hálózat, topológia menedzsmentet biztosítják. Agent Substrate független CNCF Sandbox projekt, de NVIDIA upstream hozzájárulásokat ad és interoperabilitást fejleszt DSX OS komponensekkel.
Kezdő lépések és hozzájárulás
A projekthez elérhető egy útmutató, amely bemutat egy kódolási asszisztenst Dynamo és Agent Substrate használatával: Pi agentek futtatása Substrate Actor-ként, GLM-5.3-Flash modellek Dynamo-n keresztül, és Harbor/SWE-bench Verified alapú értékelés. Agent Substrate még fejlődik: API-k változnak, a GPU-támogatás a DRA-re épül újra, és a Dynamo-integráció egyes részei kísérleti jellegűek. A projekt közösséget vár hozzájárulásokra és visszajelzésekre.
Közösségi események (KubeCon + CloudNativeCon North America 2026)
Agent Substrate fejlesztői és közreműködők a KubeCon + CloudNativeCon North America rendezvényen is jelen lesznek:
- Agent Substrate Community Party — kedd, Nov. 10, Salt Lake City.
- Rövid előadás: Wednesday, Nov. 11, 13:00–13:15, Google Cloud Booth #122: "Talk From Pods to Actors: GPU-Aware Infrastructure for Agentic Workloads".
- NVIDIA stand (#170) — Nov. 10–12; Meet the Experts: Nov. 11, 15:15–15:35 MT a Agent Substrate-ről és agent munkaterhelések Kubernetes-en való futtatásáról.
Ha agent platformokat, kódolási asszisztenseket vagy RL-környezeteket építenek Kubernetes-en, a projekt készséggel fogadja a használati esetek leírását, issue-kat és tagsági részvételt a közösségi megbeszéléseken.
