Egy kísérleti Transformers-megoldással sikerült a Qwen3.8-Flash-Next nagy nyelvi modellt 32 GB egységes memóriával rendelkező MacBook M5 gépen futtatni úgy, hogy a modell szakértőinek jelentős része SSD-n maradt. Az optimalizált változat egy rövid generálási tesztben 13,9 tokent állított elő másodpercenként, mintegy 6%-kal elmaradva a speciális Strata inferenciamotortól.
A kísérlet készítője azért keresett helyben futtatható alternatívát, hogy kevésbé függjön az online modellektől. Asztali gépében két NVIDIA RTX 4090 dolgozik, de a hordozható számítógépén is szeretett volna nagyobb modellt használni. Egy korábbi beszámoló szerint a Strata egy 32 GB-os Mac M4 gépen 13,5 token/másodperces sebességgel futtatta a Qwen3.8-Flash-Next modellt. Ez a szerző kódolóügynökös munkájához túl lassú volt, de megmutatta, hogy érdemes megvizsgálni az SSD-ről történő futtatást.
Miért számít a szakértők mozgatása?
A mixture-of-experts, röviden MoE modellek minden tokennél csak a szakértőknek nevezett modellrészek egy részét aktiválják. A szakértők ugyanakkor a súlyok több mint 90%-át is kitehetik. A Strata a gyakran használt szakértőket a gyorsítótárban tartja, a többit pedig rendszermemóriába vagy lemezre helyezi, így a teljes modellnél jóval kisebb memóriájú eszközön is működhet.
A szerző szerint a meglévő megoldások eltérő kompromisszumokat kötnek. A llama.cpp képes a szakértőket CPU-n tárolni és számolni velük, ami jól működik, ha azok elférnek a RAM-ban, de azon túl a lapgyorsítótár túlterhelődhet. A vLLM a kiválasztott súlyokat rögzített rendszermemóriából olvashatja PCIe-n keresztül, ám ebben az eljárásban nem gyorsítótárazza a szakértőket, és nincs lemezes tárolási szint. A Transformers Accelerate-alapú módszere pedig egy réteg teljes szakértőkészletét mozgatja, akkor is, ha abból csak néhányra van szükség; Macen a CPU-ra helyezés az egységes memória miatt önmagában nem szabadít fel memóriát.
Egy 24 GB-os A10G gyorsítón, a Qwen3.6-35B-A3B modellel végzett tesztben a Strata Q8_0 formátumban 82–88, a llama.cpp Q8_0-val 63–64 tokent generált másodpercenként. A legjobb közölt vLLM-beállítás FP8 formátummal és kizárólag a szakértők kiszervezésével 20,1 tokent ért el, míg a Transformers és az Accelerate 0,16-ot. A mérések eltérő formátumokat és beállításokat használtak; a vLLM egyes tesztjeit Harry Mellor ismételte meg kedvezőbb kapcsolókkal.
Közös gyorsítótár a kiválasztott szakértőknek
A fejlesztő először a memóriában is elférő OLMoE-1B-7B modellen tesztelt. Az első megoldás lemezről töltötte be a szakértőket, de egy Python-ciklus egyenként futtatta őket. Még teljesen feltöltött gyorsítótárral is csak 10,1 token/másodpercet ért el, miközben a szokásos Transformers-megoldás körülbelül 32-t.
A fordulatot egy előre lefoglalt, a rétegek között megosztott gyorsítótár jelentette. A szakértőazonosítók gyorsítótárhelyekre való leképezésével a meglévő grouped_mm művelet külön szakértői mátrixszorzó nélkül is használható maradt. Egy későbbi összehasonlításban ez 34,6 token/másodpercet hozott a szokásos megoldás 38,1-es eredményével szemben.
Az általános megvalósítás a huggingface/transformers#50717 javaslatba került. A rendszer a kiválasztott szakértőket szükség esetén nyolc I/O-szállal olvassa be, és a következő két réteg útválasztóit előre futtatva próbálja megtippelni, mely szakértőkre lesz szükség. Az API-ról még egyeztetnek a Transformers karbantartóival. A szerző közlése szerint a kódot mesterséges intelligencia segítségével készítette, ő pedig a kísérletek irányát és a megtartott megoldásokat választotta ki.
Egy 32 GB-os Mac korlátai
A Qwen3.8-Flash-Next 48 rétegének mindegyike 512 szakértőt tartalmaz, amelyek közül egyszerre tíz aktív; a szakértők FP8 formátumban 121 GB-ot foglalnak. A modellhez egy 51 GB-os n-gram beágyazási tábla is tartozik, amelynek külön lemezes hozzáférésre volt szüksége.
A kísérletben a szakértőket 3 bitesre kvantálták: így 49 GB-ot foglaltak a lemezen, közülük 12 GiB került az eszköz gyorsítótárába. A sűrű rétegeket 8 biten tárolták, mintegy 5,4 GB-on; ez a BF16-hoz képest 0,2%-kal növelte a perplexitást. Az n-gram tábla lemezen maradt, és a rendszer csak a szükséges sorokat olvasta be.
Az átalakítás körülbelül öt órát vett igénybe. Betöltés után a modell nagyjából 18 GiB memóriát használt, egy 6 ezer tokenes bemenet feldolgozásakor pedig 25,4 GiB volt a csúcs. A szerző szerint ez már közel volt a gép határához: a böngészőt be kellett zárnia, különben a macOS lapozni kezdett.
Az első, modellspecifikus Metal-kerneleket is használó változat körülbelül 10 tokent generált másodpercenként. Ugyanazon az M5-ös gépen és azonos bemenetekkel a Strata 14,8-at ért el; egy 4 ezer tokenes bemenet előfeldolgozásában 220-at a Transformers-változat 68-as sebességével szemben. A szerző a vllm-metal megoldást is kipróbálta, de az a 32 GB-os gépen nem tudta futtatni ezt a modellt: a szakértőket ugyan lemezről tölti, az n-gram táblákat viszont memóriában tartja.
Optimalizálás után közel a Stratához
A sebességet többek között a GPU-feladatok korábbi indításával, célzott Metal-kernelekkel, a Strata kisebb GGUF-súlyainak használatával és a következő réteg szakértőinek számítás közbeni beolvasásával javították. A hosszú dokumentumok feldolgozását az attention és a KV-gyorsítótár módosítása gyorsította. A gyorsítótár-hiányoknál rétegenként egy valószínű szakértő előzetes beolvasása bizonyult hasznosnak.
A végső, azonos gépen és bemenetekkel végzett mérésekben:
- Egy 200 tokenes generálásnál a Transformers 13,9, a Strata 14,8 token/másodpercet ért el.
- Egy 4 ezer tokenes bemenet előfeldolgozása 228, illetve 220 token/másodperccel futott.
- Egy 6 ezer tokenes dokumentum utáni generálás 12,4, illetve 13,7 token/másodpercet ért el.
A tesztekben a Strata 0.1.60 IQ3_XXS szakértőket használt; mindkét rendszer mohó dekódolással futott, kikapcsolt gondolkodási móddal, MTP-vel és spekulatív piszkozatokkal. Az előfeldolgozás 1024 tokenes darabokban történt.
A szerző szerint a fennmaradó különbség nagy része abból ered, hogy a gazdagép és a GPU rétegenként egymásra vár. A Strata előre sorba tudja állítani egy teljes token munkáját, a szükséges vezérlést azonban a PyTorch jelenleg nem teszi elérhetővé. A kísérlethez nem készült C++-kiterjesztés: Python-kódot, futásidőben fordított Metal-kerneleket és előre elkészített kerneleket használ.
Bár az eredmény megközelítette a Stratáét, a szerző számára továbbra is túl lassú a mindennapi kódolóügynökös munkához, ezért arra továbbra is az asztali gépet használja. A projekt ugyanakkor bemutatja, hogy a kiválasztott szakértők lemezes betöltésével és korlátozott méretű gyorsítótárral a Transformers is képes lehet nagyobb MoE-modelleket kezelni a rendelkezésre álló memórián túl.



