NVIDIA Snapshot egy nyílt forráskódú komponens az NVIDIA DSX AI Factory Platform részeként, amely GPU-alapú inferencia-feladatok checkpointolását és visszaállítását valósítja meg Kubernetes környezetben. A cél az, hogy a már inicializált (fully initialized) GPU-munkaterhelések újrahasználhatók legyenek a replikák között, így a skálázás és hibahelyreállítás másodpercek alatt megtörténjen a percek helyett.
Miért számít ez?
LLM-munkaterhelések ún. cold startja — amikor az üzem futtatásához szükséges modellsúlyok betöltése, kernel-fordítás, KV cache allokáció és CUDA-graph rögzítése megtörténik — tipikusan perceket vehet igénybe. Amikor a forgalom hirtelen megnő vagy egy replica kiesik, az elérhető GPU-k nem jelentenek azonnali kiszolgálási kapacitást. Snapshot célja, hogy a teljesen inicializált állapotot egy hordozható checkpointként tárolja, és ezt az állapotot kompatibilis csomópontokon visszaállítva a szolgáltatás percek helyett másodpercek alatt folytatódjon.
Hogyan működik (röviden)
Snapshot két fő műveletet kínál GPU Podok számára:
- Checkpoint: amikor egy workload teljesen inicializált, Snapshot rögzíti a CPU és GPU memóriában lévő állapotot artefaktként. Ez egyszeri költség adott modell- és konfigurációkombinációra.
- Restore: egy új Pod a checkpointból indulhat el bármely olyan node-on, amelyen ugyanaz a GPU modell és driver található; a folyamat ott folytatódik, ahol a checkpoint készült, így a súlybetöltés, fordítás és graph-capture ismétlése kimarad.
A műveletek Kubernetes custom resource-ökön keresztül érhetők el: futó Pod checkpointolásához létre kell hozni egy PodSnapshot erőforrást, az azonnali checkpointolást célzó munkához SnapshotJob használható. Visszaállításhoz egy új Pod-hoz hozzá kell adni az nvidia.com/restore-from annotációt a helyreállítandó PodSnapshot megnevezésével. A munkaterhelésnek egy rövid „kézfogásra” (pause) van csak szüksége a checkpoint előtt és az azt követő folytatáshoz.
A repozitóriumban kész példák találhatók vLLM, SGLang és NVIDIA TensorRT LLM (TRT-LLM) motorokhoz.
Több-GPU és MoE támogatás
Snapshot képes egyetlen checkpointként kezelni olyan munkaterheléseket is, amelyek több GPU-t (egy node-on belül) használnak és rangokra (ranks) kiterjednek. Ez különösen hasznos nagy, mixture-of-experts (MoE) modellek gyors indításához, amikor tensor parallelism (TP), data and expert parallelism (DEP) vagy decode context parallelism (DCP) stratégiákat alkalmaznak. A munkaterheléseknek meg kell felelniük a Snapshot checkpoint/restore és runtime kompatibilitási követelményeinek; a részletes példa konfigurációk elérhetők a repóban.
Benchmarkok — hardver és környezet
A publikált mérések NVIDIA B200 GPU-kon készültek a 615.71.09 NVIDIA driverrel, VAST (NFS) tároló háttéren. A tesztelt inferencia motorok és verziók:
- vLLM 0.31.0
- SGLang 0.5.21
- TensorRT LLM 1.3.0
A modellek a 0.6 milliárdos paramétertől egészen nagyméretű MoE checkpointokig terjedtek (például 600 GB–1 TB nyolc GPU-n).
Főbb eredmények
A mérési sorozat négy fontos megállapítást hozott:
- Visszaállítási idők 3.6–42.7 másodperc között: minden konfiguráción a Snapshot visszaállítás 3.6–42.7 másodperc között végzett, ami 8x–36x gyorsabb volt a cold startnál.
- A visszaállítás több lépést is kihagy: a cold start során történő súlybetöltés, kernel-fordítás, autotuning és CUDA-graph capture lépései a Snapshot visszaállítás során elmaradnak, mivel az inicializált állapotot állítja vissza.
- A checkpoint készítésének egyszeri költsége megtérül: minden tesztelt konfigurációban a checkpoint létrehozása plusz egy visszaállítás ideje rövidebb volt, mint egy cold start. A checkpoint idő modell- és konfigurációfüggően 15 másodperctől 5.5 percig terjedt.
- Nagy visszaállításoknál a GPU-állapot mozgatása a kritikus: a nyolc-GPU-s MoE konfigurációkban a GPU állapot visszamásolása 18–29 másodpercet vett igénybe, míg a CPU folyamatállapot CRIU-val történő visszaolvasása 4.2–10.8 másodpercet.
Részletes mérések (összefoglaló adatok)
A publikált táblázatok részletezik a checkpoint méretét és idejét, a cold start felbontását (startup, model load, initialization, compilation/autotuning/graph capture) és a Snapshot visszaállítás fázisait (agent setup, CRIU restore, CUDA restore, wake/remap). Például:
- Qwen3-0.6B (vLLM, TP1): checkpoint méret 8.13 GB, checkpoint idő 15.3 s, cold start 104.43 s, Snapshot restore 4.66 s (22.4x gyorsulás).
- GLM-5.3-NVFP4 (vLLM, TEP8, 8 GPU): checkpoint méret 604 GB, checkpoint idő 282.8 s, cold start 393.65 s, Snapshot restore 28.64 s (13.74x gyorsulás).
- DeepSeek-V4.1-Flash (vLLM, TEP8, 8 GPU): checkpoint méret 647.18 GB, checkpoint idő 274.75 s, cold start 1110.65 s, Snapshot restore 30.96 s (35.87x gyorsulás).
Minden konfigurációra a táblázat részletezi a cold start fázisokra eső időket és a Snapshot visszaállítási bontását, így látható, hogy a CUDA restore rész gyakran a legnagyobb részét adja a visszaállítási időnek nagy modellek esetén.
Módszertan és korlátok
A méréseknél két stratégia került alkalmazásra ugyanazon hardver- és szoftverstacken: cold start (a folyamat indításától az engine inicializációjáig mérve) és Snapshot restore (amikor a Snapshot-ot visszaállításra kérik). Mindkét mérés kizárja a konténerkép lehúzását és a konténer runtime beállítását. A KV cache kiürítése minden checkpoint előtt megtörténik, így az nincs benne az artefaktban.
Fontos megjegyezni, hogy a visszaállítási sebesség a tároló backend és a hálózati sávszélesség függvénye is, mert a CRIU restore és a GPU memória visszatöltése I/O-intenzív lehet.
Hogyan lehet kipróbálni?
A Snapshot repozitórium telepítési és használati útmutatókat tartalmaz a Kubernetes klaszterekre. A dokumentáció kész példákat ad vLLM, SGLang és TensorRT LLM munkaterhelésekre, valamint útmutatót NVIDIA Dynamo visszaállítási munkafolyamatokhoz.
Ha integrációról vagy visszajelzésről van szó, a repóban issue nyitható, illetve az NVIDIA Dynamo Slack workspace #snapshot-dev csatornája is elérhető. A Snapshot-dal kapcsolatos Kubernetes bemutatók és élő demók is elérhetők az NVIDIA 170-es standján a KubeCon rendezvényen.
Összegzés
NVIDIA Snapshot egy eszköz arra, hogy inicializált GPU inferencia-munkaterheléseket hordozható checkpointokként tároljunk és másodpercek alatt visszaállítsunk Kubernetes alapon futó replikákon. A megoldás különösen hasznos gyors skálázásnál és hibatűrésnél: a bemutatott benchmarkok szerint a visszaállítások 3.6–42.7 másodperc között voltak, ami jelentős gyorsulás a perceket igénylő cold startokhoz képest.
Kapcsolódó információk
A repozitóriumban megtalálhatók a benchmark eszközök és reprodukciós utasítások, valamint példák és integrációs útmutatók.
