Harvard, Stanford, Together AI és Caltech kutatói bemutatták a Hawkeye nevű, nyílt forráskódú keretrendszert, amelynek célja, hogy megkönnyítse az autonóm kódoló ügynökök számára a hardverre optimalizált GPU-kernel-ek írását. A projekt központi kérdése az volt: hogyan tehetjük a kódoló ügynököket hardver-tudatossá minimális emberi beavatkozással?
Mi az a Hawkeye?
A Hawkeye egy olyan rendszer, amely a kutatók szerint „egy minimális és kimerítő egységteszt-taxonómiában” helyezi el az autonóm kernelgenerálást. Gyakorlatilag a keretrendszer egy jól szervezett információcsomagot ad át az egyes hardverplatformok sajátosságairól és az azokon alkalmazható optimalizációs stratégiákról, mindezt egységtesztekbe csomagolva.
Minden egyes egységteszt egy röviden dokumentált, ember által írt megoldó kernelből és egy olyan profilozási mérőszámból áll, amely ellenőrzi, hogy az optimalizáció tényleg javítja-e a viselkedést. A megoldó kernel hívható függvényként van becsomagolva, rövid használati útmutatóval, hogy az ügynök a szintaxis példájaként olvashassa, közvetlenül meghívhassa, vagy darabjait nagyobb kernellé összefűzhesse.
Milyen hardvereket és formátumokat vizsgáltak?
A Hawkeye-t a kutatók több architektúrára és numerikus formátumra tesztelték: NVIDIA Ampere, NVIDIA Hopper, NVIDIA Blackwell és AMD MI350 hardvereken, valamint BF16, FP8, NVFP4 és MXFP4 numerikus precizitások mellett.
Eredmények
A szerzők beszámolója szerint a Hawkeye a bejáratott munkaterhelések esetén — ahol a torch.compile jellemzően szakértői, vendorgenerált könyvtárakra (például cuBLAS, cuDNN, FlashAttention) hivatkozik — BF16 és alacsony precizitású formátumokban mérve vagy megközelítette, vagy felülmúlta ezeket. Különösen azokon az újabb, kevésbé szabványos attention-variánsokon, ahol a torch.compile nem tud fuzionálni nem standard scan- és gate-műveleteket, Hawkeye jelentős előnyt ért el: az egyik mérésben 18,9× geomean gyorsulást hozott az expert-szerződésű Triton kernelekhez képest a Flash Linear Attention könyvtár esetén.
A Hawkeye a Linear Attention feladatokban architektúrától függően megközelítette vagy felülmúlta a Flash Linear Attention (FLA) teljesítményét; a publikált példák között szerepel 1,22× gyorsulás Blackwell-en és 1,00× (azaz azonos teljesítmény) MI350-en.
A kutatók továbbá megjegyzik, hogy a tesztidő alatti számítási kapacitás skálázása (scaling test-time compute) a Hawkeye használatakor növeli a legjobban teljesítő kernellek előállításának esélyét minden vizsgált architektúrán.
Miért fontos ez?
A Hawkeye munkája jól illusztrálja, hogy egy viszonylag kis mennyiségű, ember által kiválogatott és kurált tudásanyag (például jól megírt egységtesztek és mintakernel-ek) lehetővé teszi az AI rendszerek számára, hogy megtanulják reprodukálni, sőt bizonyos esetekben meghaladni az emberi szakértők által készített, nagy tudást igénylő, optimalizált kódokat. Ez azt sugallja, hogy hasonló arany-szintű segédrendszerek létrehozásával a gépek képesek lesznek felülmúlni a rájuk vonatkozó emberi teljesítményt bizonyos műszaki feladatokban.
Forrás
A Hawkeye részletes leírása és eredményei a „Hawkeye: Hardware-Aware GPU Kernel Optimization with Minimal Supervision” dokumentumban találhatók (alphaxiv formátumban).
