Eszközök

Mesterséges intelligenciával generált szöveg

A ritkás figyelmi mechanizmus gyorsíthatja a hosszú kontextusú mesterséges intelligencia-modelleket

Az NVIDIA gyakorlati útmutatót ismertet a hosszú kontextusú mesterségesintelligencia-modellek ritkás figyelmi mechanizmusának tervezéséhez, saját grafikus processzoraira összpontosítva.

A ritkás figyelmi mechanizmus gyorsíthatja a hosszú kontextusú mesterséges intelligencia-modelleket

Az ügynökszerű mesterségesintelligencia-feladatok, a hosszú dokumentumok és a nagy kódbázisok miatt a modelleknek egyre gyakrabban több százezer tokenes kontextust kell kezelniük. Ilyen méretnél a transzformerek figyelmi mechanizmusa különösen költségessé válik: a hagyományos, sűrű figyelem minden lekérdezést a kontextus összes kulcsával összevet. Egy 128 ezer tokenes bemenetnél ez a művelet a rétegenkénti előfeldolgozási idő nagy részét is kiteheti.

A ritkás figyelem ehelyett lekérdezésenként csak a kontextus kiválasztott részére összpontosít, mérsékelve a számítási és memóriaforgalmi igényt. A megtakarítás azonban nem jelenti azt, hogy a teljes kontextus feldolgozása eltűnik: a releváns kulcsokat egy indexelőnek továbbra is meg kell találnia. A vizsgált DeepSeek V3.2 modell 128 ezer tokenes előfeldolgozásakor az indexelés és a Top-k kiválasztás együtt a rétegenkénti idő 47 százalékát adta.

Az elemzés a modellbe betanított ritkás figyelemre összpontosít, nem pedig az olyan, tanítás után alkalmazható módszerekre, mint a BLASST, a MInference vagy a Quest. A mérések azt vizsgálják, miként érdemes az indexelőt és a figyelmi műveleteket NVIDIA grafikus processzorokra tervezni.

Három lépés, eltérő költségekkel

A ritkás figyelem első szakaszában az indexelő pontszámot ad a kontextus kulcsainak. Ezután a Top-k művelet megtartja a k legmagasabb pontszámú elemet, végül az alapvető figyelmi számítás csak a kiválasztott kulcsokat és értékeket használja. Az utóbbi két lépés költsége a kiválasztott elemek számától függ, az indexelőé viszont továbbra is a teljes kontextus hosszával nő.

A közelmúltbeli megoldások különböző kompromisszumokat választanak. A DeepSeek Sparse Attention például 64 lekérdezési fejet, egy kulcsfejet és 128-as fejdimenziót használ, és tokenenként választ. A GLM 5.2 32 lekérdezési fejet alkalmaz, és rétegek között megosztja az indexet; a GLM 5.3 Flash négyes blokkokkal dolgozik. A Qwen QSA négy lekérdezési fejet és négyes blokkokat használ, míg a MiniMax MSA 128 tokenes blokkokra összesíti a pontszámokat. Más megközelítések, köztük a LongCat LSA-Flash, hierarchikus indexelést vagy rétegek közötti megosztást alkalmaznak.

A teljesítménymérések egy üzemi FP8-as indexelőkernelt használtak. Eltérő jelzés hiányában 64 ezer indexelőkulccsal, négyszeres tömörítéssel, 128-as fejdimenzióval és egy kulcsfejjel számoltak. Az előfeldolgozási kötegméret egy, a dekódolási kötegméret 128 volt.

A fejek és a spekulatív dekódolás hatása

Az előfeldolgozás során az indexelő egyszerre sok lekérdezést pontoz, ezért jellemzően a számítás sebessége korlátozza. Dekódoláskor viszont lépésenként csak kevés lekérdezést vizsgál, miközben beolvassa a teljes kulcsgyorsítótárat; itt a memóriaforgalom a fő szűk keresztmetszet.

Ezért a több lekérdezési fej a két szakaszban eltérően hat. A mérésekben a csoportméret 16-szoros növelése mellett a dekódolási idő mindössze 2 százalékkal változott, mert ugyanazt a kulcsgyorsítótárat kellett beolvasni. Előfeldolgozáskor viszont a nagyobb csoport több számítást jelentett; körülbelül 16-os csoportméret felett a futásidő már a csoporttal együtt nőtt.

A spekulatív dekódolás szintén kihasználhatja ugyanazt a beolvasást: a modell D számú előzetesen javasolt tokent és egy új tokent egyszerre ellenőrizhet. Ennek addig kedvező a költsége, amíg a lekérdezési sorok egyetlen Tensor Core-csempébe férnek. FP32-es utófeldolgozással a gyakorlati határ nagyjából 200 sor: 32-es csoportméretnél hat, nyolcasnál 26 lekérdezési token. Ezeken a tartományokon belül a munka hat-, illetve 26-szorosára nőtt, miközben a futásidő csak 1,37-, illetve 1,87-szeres lett.

Az FP16-os utófeldolgozás 256 sorra növelheti a csempe méretét, és a vizsgált 64-es csoportméretnél, lépésenként négy lekérdezési tokennel 1,31-szeres gyorsulást adott. Az FP16-os akkumulációval együtt 1,45-szörös gyorsulást mértek, de ez csak akkor használható, ha a mátrixszorzás eredményei az FP16 tartományában maradnak.

A kulcsfejek számának növelése ezzel szemben dekódoláskor további gyorsítótár-beolvasásokat igényel. Egy kulcsfejről nyolcra váltva a futásidő 7,6-szorosára nőtt, míg előfeldolgozáskor 1,3–1,6-szorosára. Az elemzés ezért egy kulcsfejet és a lekérdezési fejek pontszámainak összevonását javasolja.

Fejdimenzió, tömörítés és Top-k

A fejdimenzió növelése több számítást és nagyobb kulcsokat jelent, de az előfeldolgozásnál a hatás nem mindig arányos. A 64-ről 128-ra növelt dimenzió a mérések szerint csak 1,1–1,2-szeres időt igényelt, mert kisebb dimenziónál a Tensor Core egységek az utófeldolgozásra vártak. Dekódoláskor viszont a nagyobb kulcsok beolvasása végig növelte a költséget. A javasolt tartomány 128 vagy 256, a legtöbb vizsgált megoldás a 128-at választja.

Az indexelő gyorsítótárának tömörítése közvetlenül csökkenti a pontozandó kulcsok számát. Négyszeres tömörítésnél egy indexelőkulcs négy tokent képvisel. A mérésekben a tömörítési arány felezése jellemzően megkétszerezte a futásidőt mindkét szakaszban. A kulcsok számát hierarchikus indexeléssel vagy a rétegek közötti indexmegosztással is lehet mérsékelni. Az indexelő tömörítése külön kezelendő az alapvető figyelmi művelet saját kulcs- és értékgyorsítótárának tömörítésétől.

A Top-k költségét szintén elsősorban a vizsgált kulcsok száma határozza meg. Ennek megduplázása a mérésekben körülbelül 1,7-szeres előfeldolgozási és 1,5-szeres dekódolási idővel járt. Ezzel szemben a megtartott elemek számának 64-szeresére növelése az előfeldolgozási Top-k időt kevesebb mint kétszeresére, a dekódolásit 1,7-szeresére emelte.

A költség további csökkentésére a NVIDIA TensorRT LLM rendszerének Guess-Verify-Refine Top-k módszere az előző dekódolási lépés eredményéből indul ki, majd ellenőrzi azt. A DeepSeek V3.2 és a DeepSeek V4 dekódolásakor 2,1–2,4-szer gyorsabb volt egy hagyományos radix-alapú kiválasztásnál. Egy másik megoldás a Top-k és az indexelő egyetlen kernelbe olvasztása, ami elkerüli a teljes pontszámmátrix kiírását és visszaolvasását; erre a FlashInfer nyílt forráskódú megoldása is példát ad.

Miért számítanak a blokkok?

A tokenenkénti kiválasztásnál a szükséges kulcsok és értékek szétszórva lehetnek a gyorsítótárban, ezért a kernelnek külön címeket kell kezelnie és külön adatokat beolvasnia. Blokkszintű kiválasztásnál az egymás melletti elemek együtt tölthetők be, és ugyanazt a blokkot több lekérdezés is felhasználhatja.

A vizsgálatban lekérdezésenként 2048 kiválasztott kulcs mellett hasonlították össze a blokkméreteket. Bár a számítások és a beolvasott adatok mennyisége azonos maradt, a blokkméret felezése közel megkétszerezte a futásidőt az előfeldolgozásban és a dekódolásban is, mert több részfeladatot és eredményösszevonást kellett kezelni. Az elemzés ezért nagyobb blokkokat, valamint az alapvető figyelmi műveletben olyan csoportosítást ajánl, ahol sok lekérdezési fej osztozik egy kulcs- és értékfejen.

A fő következtetés, hogy a ritkás figyelem akkor hoz valódi előnyt hosszú kontextusnál, ha nemcsak a végső figyelmi számítás, hanem az indexelés és a kiválasztás is a hardverhez igazodik. A kevesebb pontozott kulcs, az összevont műveletek és a hatékony adatújrafelhasználás együtt mérsékelhetik a költségeket.