Kutatók a Google DeepMindtól, a Carnegie Mellon Universitytől, a Columbia Universitytől és az MIT-től együttesen további apró javulást értek el a mátrixszorzás kitevőjének (omega) ismert felső határán. A munka kombinálta a modern, GPU-alapú optimalizációs módszereket és a Google által fejlesztett AlphaEvolve rendszert, amely nagy nyelvi modelleken (LLM) alapuló, általános célú kódgeneráló és -fejlesztő eszköz.
Mit tettek pontosan
A csapat a kombinációs veszteség-analízis (combination loss analysis) nemkonvex optimalizációs problémáját tette differenciálhatóvá, majd gradiens-alapú módszerekkel optimalizálták azt. Egyszerűen alkalmazva ez a lépés önmagában a korábbi legjobb ismert határhoz képest hozzávetőleg 0.97 × 10^−4 javulást eredményezett. Ezt követően AlphaEvolve-ot használták az optimalizációs algoritmus továbbfejlesztésére, ami a teljes javulást a korábbi állapothoz képest körülbelül 1.62 × 10^−4-re növelte.
Hogyan működött AlphaEvolve a munkafolyamatban
A kutatók lehetővé tették, hogy AlphaEvolve módosítsa az optimalizációs programot; a módosított kódot ezután lefuttatták, ami nagyjából öt órát vett igénybe egyetlen GPU-n, és egy új felső határt adott az omega értékére. AlphaEvolve ezután evolúciós jelleggel továbbfejlesztette a kódot az omega minimalizálása érdekében. A szerzők különösen jó eredményeket értek el az AlphaEvolve „evolving constructions” (evolúciózó konstrukciók) funkciójának használatával: ebben minden generáció optimalizációs algoritmusa a szülőalgoritmus által talált legjobb megoldáspontnál kezdte a keresést.
Tudományos jelentőség és korlátok
Bár a mátrixszorzás néhány fajtája szerepel az AI modellek tanításában, a konkrét, elméleti vizsgálat tárgyát képező típus nem azonos a gyakran használt gyakorlati formákkal. A kutatás elsősorban azt demonstrálja, hogy a mai AI-alapú rendszerek hasznos módon tudnak hozzájárulni elméleti frontvonalbeli problémák megoldásához: a csapat egy problémát differenciálhatóvá tett, GPU-kon optimalizálta, majd az eredményt AlphaEvolve-nak adta további finomításra.
A szerzők megjegyzik: „While further modest improvements may be obtained in this manner, achieving larger improvements to omega likely requires new mathematical ideas and is an exciting area of research.” Vagyis további kisebb javulások várhatók hasonló módszerekkel, ám az érdemi előrelépéshez valószínűleg új matematikai ötletekre lesz szükség.
Hivatkozás
A részletek és a technikai leírás az „Improving the matrix multiplication exponent with modern optimization and AlphaEvolve” című dolgozatban találhatók az arXiv-on.
