Kutatás

Mesterséges intelligenciával generált szöveg

ReplaySSM: SSM-állapot helyett bemenetek cache-elésével gyorsabb hibrid modell dekódolás

A főszereplők az NVIDIA és a Dao AI Lab at Princeton által közösen fejlesztett ReplaySSM módszer és több hibrid nyelvi modell (például NVIDIA Nemotron 3, Qwen3.5–3.8, Kimi-K3, GLM-5.3-Flash).

ReplaySSM: SSM-állapot helyett bemenetek cache-elésével gyorsabb hibrid modell dekódolás

AI Newsroom · 2026. október 12. · 5 perc olvasás

ReplaySSM egy új megközelítés hibrid nyelvi modellek dekódolására, amelyeket állapot-tér modell (SSM) rétegek és néhány figyelem (attention) réteg váltakozása épít fel. NVIDIA Nemotron 3, Qwen3.5–Qwen3.8, Kimi-K3 és GLM-5.3-Flash például ilyen architektúrát használnak, ahol az SSM réteg szerepét Mamba-2, Gated DeltaNet (GDN) vagy Kimi Delta Attention (KDA) látja el. A ReplaySSM-t az NVIDIA és a Princetonon működő Dao AI Lab közösen dolgozta ki.

A hagyományos SSM-dekódolásnál minden token dekódolási lépése betölti a teljes SSM állapotot a nagy sávszélességű memóriából (HBM), alkalmazza a degradációt/aktualizációt, kiszámolja a kimenetet, majd visszaírja az állapotot. Ennek következtében a kernel memória-sávszélesség kötött lesz, nem a számítás; szolgálási (serving) batchméreteknél ez akár 100K token kontextushosszig az SSM rétegeket teszi a késleltetés szűk keresztmetszetévé ahelyett, hogy az attention lenne az. Emellett az SSM-ek megnehezítik a spekulatív dekódolást (speculative decoding) és a kvantálást.

ReplaySSM azt javasolja, hogy az SSM állapot helyett a bemeneteket (α_j, v_j, k_j stb.) cache-eljük. Az állapotot checkpoint + rövid puffersor (buffer) formájában reprezentálja: a legtöbb lépésen csak a puffert bővíti és a kimenetet a checkpoint+buffer alapján számítja ki, a teljes állapotot csak akkor írja vissza (flush), amikor a buffer megtelik (ablakméret L rekord). Így a kimenet számítása és az állapotfrissítés elválnak egymástól.

Miért számít ez?

ReplaySSM három konkrét problémát céloz meg:

  • Állapot memóriaforgalom csökkentése: a hagyományos megközelítés L-szer olvas és L-szer ír egy L tokenes ablak alatt; ReplaySSM csak egyszer írja a checkpointot egy flush alatt, míg a nem-flush lépések csak a kis bemeneti rekordot írják. Ez jelentősen csökkenti a HBM-forgalmat, ami szolgálási batchméretek mellett közvetlenül gyorsulást eredményez.

  • Spekulatív dekódolás egyszerűsítése és gyorsítása: spekulatív dekódolásnál egy drafter T tokent javasol, majd ezek verifikálására egy pass szükséges a célmodellen, és vissza kell ugrani az elfogadott prefixhez. Attentionnél ez könnyen megoldható a KV cache pointer mozgatásával; hagyományos SSM-nél viszont minden draft frissíti az állapotot, ezért a szerverek (pl. vLLM) snapshotokat készíten minden draft token után, ami egy read + T write memóriabound útvonalat jelent. ReplaySSM esetén a draftok bemeneteit a bufferbe fűzik, a verifikáció csak outputot számol, és a visszaállítás az egyszerű buffer pointer-előrelépés, így nincs állapotsnapshot-írás minden tokennél.

  • Kvantálási hiba lokalizálása: hagyományos SSM-eknél a kvantált állapot visszakerül a recurrenciába, így a kerekítési hiba minden lépésnél visszahat és felhalmozódik. ReplaySSM-ben szétválasztják az olvasó (output számító) és frissítő feladatokat: a periódikus checkpointot magas precizióban tartják a recurrenciához, míg egy alacsonyabb preciziós másolatot használnak a nem-flush lépésekhez történő gyors olvasásra. Az alacsonyabb preciziós olvasat nem kerül vissza a recurrenciába, így a kerekítési hiba nem halmozódik át több ablakon.

Műszaki részletek röviden

Példaként a Mamba-2 réteg egyik rekurzív lépése így írható fel: S_t = α_t S_{t-1} + v_t k_t^⊤ és o_t = S_t q_t. A ReplaySSM a rekurziót h tokenes ablakra kibontva írja: a jelenlegi S_t egy checkpoint és az ablakon belüli v_j k_j^⊤ összegéből áll, hozzáadva a kumulatív decay-eket (γ). A módszer ablakmérete L = 16 volt a tesztekben, ez minden vizsgált modellnél a legjobb választásnak bizonyult.

Tesztelt modellek és környezet

A szerzők négy hibrid modellt vizsgáltak két családból: Nemotron-3 (Mamba-2) és Qwen3.5 (GDN), 4B és 120B-os osztályok között, egy GPU-n futtatva:

  • Nemotron-3-Nano-4B: Mamba-2, BF16, 1×H100, 21 SSM / 4 attention réteg
  • Nemotron-3-Super-120B-A12B: Mamba-2, NVFP4, 1×B300, 40 SSM / 8 attention
  • Qwen3.5-4B: GDN, BF16, 1×H100, 24 SSM / 8 attention
  • Qwen3.5-122B-A10B: GDN, NVFP4, 1×B300, 36 SSM / 12 attention

A ReplaySSM-implementáció vLLM-ben futott összehasonlításként a vLLM saját legjobbra hangolt kerneljeivel. Az állapotot FP32-ben tartották a teljesítménytesztekhez, és L = 16 ablakméretet használtak.

Mért előnyök

  1. Memóriaforgalom és sebesség: nagy batchméreteknél (például batch size 256) a ReplaySSM kernel 1.46×–1.80× gyorsabban fut, és a teljes dekódolási lépés 1.20×–1.47× gyorsulást mutatott a négy modellen. A végső előny növekszik a batchmérettel, mert az SSM részaránya nő a lépésidőben.

  2. Spekulatív dekódolás: verification (ellenőrzés) során ReplaySSM output-only módban képes számolni a draftok kimenetét anélkül, hogy közben állapotot formálna. Ez jelentősen csökkenti a verifikációs költséget és a szükséges memória snapshotokat. Például GSM8K feladaton T = 4 és L = 16 beállításokkal, 120B-os modelleken batch size 512-nél ReplaySSM 1.85× és 2.10× throughputot ért el a vLLM spekulatív dekódzásához képest, ugyanazon elfogadási hosszok mellett.

  3. Kvantálás és pontosság: a ReplaySSM különválasztott preciziós megközelítése jelentősen csökkenti a kerekítési hibák felhalmozódását. Qwen3.5-4B modellen 128K generált token esetén az NVFP4 olvasás FP32 recurrenciával a KL divergenciát 0.136-ról 0.0038-ra csökkentette. Az értékelés továbbá GPQA-Diamond pontossági méréseket is tartalmazott: egy közös (shared) NVFP4 checkpoint 3–31 százalékpontnyi pontosságveszteséget okozott modellektől függően, míg NVFP4 olvasás FP16 vagy FP8 recurrenciával a veszteséget jellemzően 1–2 ponton belülre hozta.

Rendelkezésre állás és integráció

A ReplaySSM papír (ReplaySSM: Cache SSM Inputs, Not State) elérhető az arXiv-on, és a kód nyilvános a GitHubon (github.com/Johnny-Liou/ReplaySSM). A megoldás beépült több inference keretrendszerbe: NVIDIA TensorRT-LLM, vLLM, SGLang és FlashInfer. Termelésben használják például GLM-5.3-Flash és Kimi-K3 szolgáltatásokban; Z.ai infrastruktúra-jelentés a KDA dekód kernelhez való hozzáadásról számol be.

Összegzés

ReplaySSM egyszerre csökkenti az SSM-re jellemző memóriaforgalmat, egyszerűsíti a spekulatív dekódolás rollbackjét és korlátozza a kvantálási hibák felhalmozódását azáltal, hogy az SSM állapotot checkpoint + rövid bemeneti pufferral helyettesíti. Nagy batchméreteknél és spekulatív üzemmódban jelentős teljesítmény- és hatékonyságjavulás érhető el, és a megoldás már beépített és éles rendszerekben is fut.

Kapcsolódó cikkek