Az ügynökszerű mesterségesintelligencia-feladatok, a hosszú dokumentumok és a nagy kódbázisok miatt a modelleknek egyre gyakrabban több százezer tokenes kontextust kell kezelniük. Ilyen méretnél a transzformerek figyelmi mechanizmusa különösen költségessé válik: a hagyományos, sűrű figyelem minden lekérdezést a kontextus összes kulcsával összevet. Egy 128 ezer tokenes bemenetnél ez a művelet a rétegenkénti előfeldolgozási idő nagy részét is kiteheti.
A ritkás figyelem ehelyett lekérdezésenként csak a kontextus kiválasztott részére összpontosít, mérsékelve a számítási és memóriaforgalmi igényt. A megtakarítás azonban nem jelenti azt, hogy a teljes kontextus feldolgozása eltűnik: a releváns kulcsokat egy indexelőnek továbbra is meg kell találnia. A vizsgált DeepSeek V3.2 modell 128 ezer tokenes előfeldolgozásakor az indexelés és a Top-k kiválasztás együtt a rétegenkénti idő 47 százalékát adta.
Az elemzés a modellbe betanított ritkás figyelemre összpontosít, nem pedig az olyan, tanítás után alkalmazható módszerekre, mint a BLASST, a MInference vagy a Quest. A mérések azt vizsgálják, miként érdemes az indexelőt és a figyelmi műveleteket NVIDIA grafikus processzorokra tervezni.
Három lépés, eltérő költségekkel
A ritkás figyelem első szakaszában az indexelő pontszámot ad a kontextus kulcsainak. Ezután a Top-k művelet megtartja a k legmagasabb pontszámú elemet, végül az alapvető figyelmi számítás csak a kiválasztott kulcsokat és értékeket használja. Az utóbbi két lépés költsége a kiválasztott elemek számától függ, az indexelőé viszont továbbra is a teljes kontextus hosszával nő.
A közelmúltbeli megoldások különböző kompromisszumokat választanak. A DeepSeek Sparse Attention például 64 lekérdezési fejet, egy kulcsfejet és 128-as fejdimenziót használ, és tokenenként választ. A GLM 5.2 32 lekérdezési fejet alkalmaz, és rétegek között megosztja az indexet; a GLM 5.3 Flash négyes blokkokkal dolgozik. A Qwen QSA négy lekérdezési fejet és négyes blokkokat használ, míg a MiniMax MSA 128 tokenes blokkokra összesíti a pontszámokat. Más megközelítések, köztük a LongCat LSA-Flash, hierarchikus indexelést vagy rétegek közötti megosztást alkalmaznak.
A teljesítménymérések egy üzemi FP8-as indexelőkernelt használtak. Eltérő jelzés hiányában 64 ezer indexelőkulccsal, négyszeres tömörítéssel, 128-as fejdimenzióval és egy kulcsfejjel számoltak. Az előfeldolgozási kötegméret egy, a dekódolási kötegméret 128 volt.
A fejek és a spekulatív dekódolás hatása
Az előfeldolgozás során az indexelő egyszerre sok lekérdezést pontoz, ezért jellemzően a számítás sebessége korlátozza. Dekódoláskor viszont lépésenként csak kevés lekérdezést vizsgál, miközben beolvassa a teljes kulcsgyorsítótárat; itt a memóriaforgalom a fő szűk keresztmetszet.
Ezért a több lekérdezési fej a két szakaszban eltérően hat. A mérésekben a csoportméret 16-szoros növelése mellett a dekódolási idő mindössze 2 százalékkal változott, mert ugyanazt a kulcsgyorsítótárat kellett beolvasni. Előfeldolgozáskor viszont a nagyobb csoport több számítást jelentett; körülbelül 16-os csoportméret felett a futásidő már a csoporttal együtt nőtt.
A spekulatív dekódolás szintén kihasználhatja ugyanazt a beolvasást: a modell D számú előzetesen javasolt tokent és egy új tokent egyszerre ellenőrizhet. Ennek addig kedvező a költsége, amíg a lekérdezési sorok egyetlen Tensor Core-csempébe férnek. FP32-es utófeldolgozással a gyakorlati határ nagyjából 200 sor: 32-es csoportméretnél hat, nyolcasnál 26 lekérdezési token. Ezeken a tartományokon belül a munka hat-, illetve 26-szorosára nőtt, miközben a futásidő csak 1,37-, illetve 1,87-szeres lett.
Az FP16-os utófeldolgozás 256 sorra növelheti a csempe méretét, és a vizsgált 64-es csoportméretnél, lépésenként négy lekérdezési tokennel 1,31-szeres gyorsulást adott. Az FP16-os akkumulációval együtt 1,45-szörös gyorsulást mértek, de ez csak akkor használható, ha a mátrixszorzás eredményei az FP16 tartományában maradnak.
A kulcsfejek számának növelése ezzel szemben dekódoláskor további gyorsítótár-beolvasásokat igényel. Egy kulcsfejről nyolcra váltva a futásidő 7,6-szorosára nőtt, míg előfeldolgozáskor 1,3–1,6-szorosára. Az elemzés ezért egy kulcsfejet és a lekérdezési fejek pontszámainak összevonását javasolja.
Fejdimenzió, tömörítés és Top-k
A fejdimenzió növelése több számítást és nagyobb kulcsokat jelent, de az előfeldolgozásnál a hatás nem mindig arányos. A 64-ről 128-ra növelt dimenzió a mérések szerint csak 1,1–1,2-szeres időt igényelt, mert kisebb dimenziónál a Tensor Core egységek az utófeldolgozásra vártak. Dekódoláskor viszont a nagyobb kulcsok beolvasása végig növelte a költséget. A javasolt tartomány 128 vagy 256, a legtöbb vizsgált megoldás a 128-at választja.
Az indexelő gyorsítótárának tömörítése közvetlenül csökkenti a pontozandó kulcsok számát. Négyszeres tömörítésnél egy indexelőkulcs négy tokent képvisel. A mérésekben a tömörítési arány felezése jellemzően megkétszerezte a futásidőt mindkét szakaszban. A kulcsok számát hierarchikus indexeléssel vagy a rétegek közötti indexmegosztással is lehet mérsékelni. Az indexelő tömörítése külön kezelendő az alapvető figyelmi művelet saját kulcs- és értékgyorsítótárának tömörítésétől.
A Top-k költségét szintén elsősorban a vizsgált kulcsok száma határozza meg. Ennek megduplázása a mérésekben körülbelül 1,7-szeres előfeldolgozási és 1,5-szeres dekódolási idővel járt. Ezzel szemben a megtartott elemek számának 64-szeresére növelése az előfeldolgozási Top-k időt kevesebb mint kétszeresére, a dekódolásit 1,7-szeresére emelte.
A költség további csökkentésére a NVIDIA TensorRT LLM rendszerének Guess-Verify-Refine Top-k módszere az előző dekódolási lépés eredményéből indul ki, majd ellenőrzi azt. A DeepSeek V3.2 és a DeepSeek V4 dekódolásakor 2,1–2,4-szer gyorsabb volt egy hagyományos radix-alapú kiválasztásnál. Egy másik megoldás a Top-k és az indexelő egyetlen kernelbe olvasztása, ami elkerüli a teljes pontszámmátrix kiírását és visszaolvasását; erre a FlashInfer nyílt forráskódú megoldása is példát ad.
Miért számítanak a blokkok?
A tokenenkénti kiválasztásnál a szükséges kulcsok és értékek szétszórva lehetnek a gyorsítótárban, ezért a kernelnek külön címeket kell kezelnie és külön adatokat beolvasnia. Blokkszintű kiválasztásnál az egymás melletti elemek együtt tölthetők be, és ugyanazt a blokkot több lekérdezés is felhasználhatja.
A vizsgálatban lekérdezésenként 2048 kiválasztott kulcs mellett hasonlították össze a blokkméreteket. Bár a számítások és a beolvasott adatok mennyisége azonos maradt, a blokkméret felezése közel megkétszerezte a futásidőt az előfeldolgozásban és a dekódolásban is, mert több részfeladatot és eredményösszevonást kellett kezelni. Az elemzés ezért nagyobb blokkokat, valamint az alapvető figyelmi műveletben olyan csoportosítást ajánl, ahol sok lekérdezési fej osztozik egy kulcs- és értékfejen.
A fő következtetés, hogy a ritkás figyelem akkor hoz valódi előnyt hosszú kontextusnál, ha nemcsak a végső figyelmi számítás, hanem az indexelés és a kiválasztás is a hardverhez igazodik. A kevesebb pontozott kulcs, az összevont műveletek és a hatékony adatújrafelhasználás együtt mérsékelhetik a költségeket.



