Nvidia lineáris térképezéssel gyorsítja és olcsóbbá teszi a modellek közti memóriaátvitelt

Az ügynökalapú, több‑LLM (nagy nyelvi modell) munkafolyamatok egyik jelentős költségtényezője az, hogy amikor egy kisebb modelltől egy nagyobbhoz — vagy vissza egy kisebbhez — adnak át egy munkát, a fogadó modellnek újra le kell futtatnia az egész „prefill” szakaszt. A prefill során a modell kiszámítja a tokenekhez tartozó kulcsokat és értékeket (Key‑Value, KV), és feltölti a KV‑cache‑t; ha a cache érvénytelen lesz modelleváltás miatt, a fogadó modell teljesen újra kell számolja ezt, ami megnöveli a késleltetést és a számítási költségeket.

A problémára válaszul a Nvidia kutatói egy cross‑model KV cache transfer technikát mutattak be, amely közvetlenül leképezi a forrásmodell előre kitöltött KV‑cache‑jét a célmodell formátumába. A megközelítés egyszerű lineáris matematikán alapul — nem igényel drága, nagy méretű neurális hálókat — és valós alkalmazásoknál, ahol sok fordulóban halmozódik fel a kontextus, jelentősen csökkentheti a költségeket és a késleltetést.

Hogyan működik és miért jelent ez megtakarítást

A LLM‑ek két fő lépésben dolgoznak: prefill (kezdeti előrecsatolás a KV‑cache feltöltéséhez) és decode (a következő tokenek generálása a cache olvasásával). A prefill számítási költsége arányosan nő a modellmérettel és a bemenet hosszával, ezért a hosszú ülések nagyon költségesek, ha a cache elveszik. A modellváltásnál a különböző architektúrák eltérő cache‑formátumokat várnak, ezért a fogadó modellnek újra le kell futtatnia a prefillt.

A Nvidia megoldása az, hogy egy lineáris leképezéssel alakítják át a forrásmodell KV‑t a célmodell elvárásainak megfelelően, megkerülve a teljes prefillt. Ennek gyakorlati előnye két irányban érhető el:

• Kicsiről nagyra: a kisebb, olcsóbb modell elvégzi a rutin munkát, majd a nehezebb probléma megoldásához a KV‑t átküldik egy nagyobb modellbe, amely jobb kimenetet ad.
• Nagyról kicsire: egy nagy, költséges modell egyszer készíti el a komplex inicializációt (például egy hosszú rendszer‑prompt vagy sűrű dokumentum feldolgozása), majd a létrejött KV‑t átmásolják egy kisebb, olcsóbb modellbe a további interaktív fordulókhoz.

A lineáris szerkezet felfedezése és a zárt formájú mapper felépítése

A kutatók azt találták, hogy a cross‑model KV cache struktúrája nagyrészt lineáris jellegű, ezért egyszerű algebrai módszerekkel is leképezhető. Például Qwen3 14B‑ről 32B‑re történő átvitelnél egy rétegek közötti lineáris regresszióval a cél kulcsainak (keys) varianciájának 56%-át, az értékek (values) varianciájának 32%-át lehetett visszaadni; több forrásréteg kombinálásával ezek az arányok 79% és 65% fölé emelkedtek.

A gyakorlati rendszer egy zárt formájú, per‑head ridge regression alapú mapperből áll, három fontos komponenssel:

1. Per‑head ridge regression: minden figyelmi fejre (attention head) külön illesztenek egy egyszerű lineáris regressziót, mindössze néhány száz kalibrációs szövegpéldát használva — így nem szükséges nagy méretű hálózatok hátsó terjesztéssel történő betanítása.
2. Cross‑layer source selection: mivel a forrás‑ és célmodellek rétegszáma eltérhet, a mapper kiválasztja azokat a forrásrétegeket, amelyek a legjobban prediktálják az adott célréteget, így csak a leginformatívabb memóriadarabokat használja fel.
3. Content‑space mapping (RoPE eltávolítása): a RoPE (Rotary Position Embedding) pozíciófüggő forgatását eltávolítják a bemenetekből, mielőtt az átalakítást elvégzik; ezzel a mapper képes általánosítani hosszabb sorozatokra, mint amennyin a kalibráció készült.

A kalibrációhoz a kutatók mindössze 500 szekvenciát használtak, minden szekvencia 1 024 token hosszú volt.

Kísérleti eredmények: pontosság és sebesség

A módszert hat, „matched‑KV” modelcsaládon tesztelték — azaz olyan párokon, amelyek ugyanannyi KV‑fejet és per‑head dimenziót használnak, ami jellemző az azonos családon belüli különböző méretű modellekre. A vizsgált családok között szerepeltek a Qwen3, Llama 3.1 és Ministral 3 modellek, 3 milliárd és 70 milliárd paraméter közötti méretekben; a vizsgálat kiterjedt egy 8,8×‑os ugrásra is Llama 3.1 8B‑től 70B‑ig.

A modelleket öt pontossági benchmarkkal (ARC‑Challenge, HellaSwag, WinoGrande, MMLU és GSM8K), WikiText‑2 perplexityval és egy több‑fordulós beszélgetési feladattal (CoQA) értékelték. A referenciahelyzet a célmodell teljes, hagyományos prefilljével mért teljesítmény volt.

Fő eredmények:

• A zárt formájú lineáris ridge mapper a hat párosból négy esetben a célmodell teljes prefill pontosságának 73–98%-át megőrizte. Például a Llama 3.1 8B→70B átvitelnél 72,8%‑os visszaállított pontosságot mértek.
• A leképezés 2,7× és 25× közötti gyorsulást adott a teljes re‑prefillhez képest. Konkrét példa: egy 32 768 tokenes KV‑cache átkonvertálása Qwen3 14B‑ről 32B‑re mindössze 278 milliszekundumot vett igénybe, szemben az ~7 másodperces hagyományos re‑prefill idővel.
• Hosszú, többfordulós tesztek esetén a drift (pontosságvesztés) a cél‑baseline és az átküldött cache között tíz fordulón át nagyon kicsi maradt, tehát a módszer nem okozott fokozódó kudarcot hosszú agentikus munkamenetekben.

Korlátok és kiterjesztések

A lineáris megközelítés azonban nem volt univerzálisan tökéletes: két Ministral konfigurációnál az egyszerű lineáris illesztés gyengén extrapolált a kalibrációs adatokon kívül, és éles teljesítményromlást eredményezett. Ezeknél az eseteknél a kutatók egy két rejtett rétegű, 1 024‑egységű MLP‑t alkalmaztak ugyanazzal a tanulóadat‑készlettel, ami vissza tudta hozni a pontosságot 90% fölé — viszont ez képzési és bonyolultsági költséggel járt.

A jelen tanulmány határait a szerzők is elismerik: az eredmények jelenleg családon belüli, matched‑KV párokra korlátozódtak (azonos tokenizerek, hasonló architektúra), de a módszer potenciálisan kiterjeszthető családok közötti átviteli esetekre, eltérő KV‑fej számokra vagy hibridekre, amelyek eltérő memória‑mechanizmusokat használnak.

Hova illeszkedik ez a többi megoldás mellé

A cross‑model KV cache transfer egyike a memóriakezelés csökkentési törekvéseinek a vállalati AI‑skálázásban. Az elmúlt időszakban több irányból támadják ezt a problémát:

• Nvidia Dynamic Memory Sparsification (DMS): kevésbé fontos tokenek intelligens kilökésével akár 8× költségcsökkentés.
• MIT Attention Matching: algebrai tömörítés, amely elméletileg akár 50×‑es KV‑cache tömörítést mutatott anélkül, hogy romlott volna a minőség.
• Nvidia KV Cache Transform Coding (KVTC): médiakompressziós módszerekből merítve kb. 20×‑os memóriacsökkenést ért el anélkül, hogy a modellsúlyokat módosítaná.
• IndexCache és további optimalizálók: redundáns rétegkiszámítások eltávolítása a gyorsabb első token előállításhoz.
• Architektúra‑szintű újítások: például DeepSeek és GLM‑sorozat, amelyek a KV‑kezelést az architektúrán belül optimalizálják.

Ahogy az AI‑rendszerek egyre hosszabb távú és összetettebb feladatokat vállalnak, a memóriainfrastruktúra kezelése éppoly fontos lesz, mint maguk a modellek. A Nvidia lineáris KV‑cache átalakítása új, hatékony eszközt ad a fejlesztők kezébe a többmodellű agentikus rendszerek költségeinek csökkentésére és késleltetésének mérséklésére.

Összegzés

A Nvidia vizsgálata azt mutatja, hogy a KV‑cache struktúrája gyakran elég lineáris ahhoz, hogy egyszerű per‑head lineáris leképezéssel jelentős része átmásolható legyen egy másik, kompatibilis modellbe. Ez a megközelítés többszörös gyorsulást és a célmodell pontosságának nagy részét megőrző átvitelt kínál, miközben csökkenti a drága újra‑prefill szükségességét — bár bizonyos modellpárokon szükség lehet nemlineáris kiegészítésekre a teljes pontosság visszaállításához.