Az Fable nevű modell automatikusan előállított egy GPU-kódot (CUDA), amelyet a KernelBench-Mega benchmark hivatalos rangsorában és egy fenntartó értékelése szerint „az első valódi (és leggyorsabb) megakernelként” jegyeztek. Az eredmény azt jelzi, hogy az AI-rendszerek egyre jobbak olyan alapvető feladatok elvégzésében, amelyek az AI-kutatás és fejlesztés (R&D) munkafolyamataihoz tartoznak, például a kerneltervezéshez.
Mérések és összehasonlítások
- Fable által írt CUDA-kód egy NVIDIA RTX PRO 6000 Blackwell GPU-n 18.71× gyorsulást ért el egy optimalizált PyTorch alapú megoldáshoz képest a KernelBench-Mega tesztjeiben.
- A kalibrációhoz közölt más próbálkozások eredményei: Claude Opus 4.8 Triton kódot írva 14.4×, GLM-5.2 Triton kóddal 11.14×, és GPT 5.5 Tritonnal 4.34× gyorsulást ért el.
Miben különleges a megoldás?
A tesztbeli értékelés különösen figyelemre méltónak tartja, hogy a torch.profiler szerint Fable megoldása pontosan egy kooperatív kernelindítást hajt végre minden dekódolt tokenre. Más, magas pontszámú beküldések ehelyett a problémát 4–14 külön kernelindításra bontották tokenenként. Egyetlen kernelindítás csökkentheti a szinkronizációs költségeket és hatékonyabban használhatja a GPU erőforrásait, ezért ez a megközelítés jelentős teljesítményelőnyt eredményezhet.
Miért fontos ez hosszabb távon?
A kerneltervezés és -optimalizáció olyan technikai feladat, amely közvetlenül hozzájárul az AI modellek futtatásának hatékonyságához és a modellképzés gyorsításához. Ha AI rendszerek képesek autonóm módon megtervezni és javítani ilyen alacsony szintű komponenseket, az egy lépés afelé, hogy a rendszerek egyre több, korábban emberi szakértelmet igénylő R&D feladatot végezzenek el. Egyes megfigyelők szerint az ilyen képességek hozzájárulhatnak a rek curszív önfejlesztés (recursive self-improvement) lehetőségének növekedéséhez, ezért a KernelBench-Mega és hasonló benchmarkok értéke nem csak nyers teljesítmény mérésében van: jelzést adnak arról is, mennyire képesek a modellek önállóan fejleszteni saját működésük alapvető elemeit.
Hol tekinthetők meg az eredmények és az elemzések?
A KernelBench-Mega hivatalos leaderboardja tartalmazza a versenyben szereplő beküldéseket és rangsorokat. A benchmark egyik fenntartója, Elliot Arledge közleményeiben és elemzéseiben részletesebb értékelést ad a beküldött megoldásokról és a mérési metodikáról.
