Néhány éve Anima Anandkumar, a Caltech professzora elhatározta, hogy megalkotja az első nyílt forráskódú, mesterséges intelligencia által vezérelt időjárásmodellt. Kezdetben a szakmabeliektől kétkedést kapott: az időjárás kaotikus, a fizikai szimulációk évtizedek óta fejlettek és nagy számítási kapacitást igényelnek, és nincs elegendő nyílt adat. Ennek ellenére Anandkumar és csapata továbbment, és az első év végére létrehozták a FourCastNetet — egy előrejelző modellt, amely felveszi a versenyt a legjobb fizikai alapú szimulációkkal.
A FourCastNet és későbbi fejlesztései következtében ma már bárki képes rövid távon pontos időjárás-előrejelzést készíteni fogyasztói szintű grafikus processzorokon (GPU-kon). Ez a teljesítmény azt mutatja, hogy a fizikailag strukturált megközelítések versenyképes alternatívát kínálnak a hagyományos, szuperszámítógépeket igénylő módszereknek.
Miért nehéz a nagy, kaotikus fizikai rendszerek modellezése?
Anandkumar munkája rávilágít arra, hogy az ilyen rendszerek — például a légkör, a fúziós plazma vagy a folyadék- és hőáramlás — alapvetően nagyléptékűek, kaotikusak és több skálán működnek egyszerre. Az AI közössége eddig viszonylag keveset foglalkozott ezekkel a problémákkal, részben azért, mert a nyíltan elérhető adathalmazok sok esetben csak tízezres vagy százezres nagyságrendű példákat tartalmaznak, távol attól, amit a nagy nyelvi modellek vagy a tokenigényes transformerek kívánnak.
Még súlyosabb probléma a felbontásból adódó kontextushossz: ha minden dimenzió néhány száz rácspontot tartalmaz — ami ipari skálán gyakori — a kontextushossz könnyen százmilliárdok, akár billió nagyságrendbe is kerülhet. Anandkumar szerint ez azt jelenti, hogy "felejtsük el, hogy lesz valaha transformer bármire is ebből a skálából; az összes világ számítási kapacitása sem lesz elég." Ezért a gyors skálázás helyett más út szükséges: beépített szerkezet és induktív torzítások (inductive biases).
A matematikai újítás: Neural Operators
Anandkumar az elmúlt évek egyik jelentős elméleti fejlesztését, a Neural Operators (neurális operátorok) technikáját vezette be a fizikai rendszerek modellezésébe. Ezek olyan hálózati szerkezetek, amelyek rétegenként nem egyszerű vektortranszformációkat, hanem függvények közötti leképezéseket tanulnak meg. Így nem csupán egy rácsot modelleznek, hanem egy olyan függvényt, amely sok skálán fejlődik és változik.
Ez a megközelítés lehetővé teszi a fizikai intuícióból származó priors beépítését: a modell nem pusztán adatokból tanul, hanem a fizikai törvényszerűségeket és a problémához illő reprezentációkat is használja. Például a globális időjárás előrejelzésekor a föld gömbölyűsége miatt a megfelelő alaphalmaz a sferikus harmonikusok (Spherical Harmonics). Rácson futtatott modell gyorsan instabillá válhat, míg a probléma természetes bázisában dolgozó modell jóval stabilabb, és hosszabb előrejelzési horizontokat tesz lehetővé.
Anandkumar Fourier Neural Operator (FNO) megközelítése közvetlenül a frekvenciatartományban tanul, és annak gömbi kiterjesztése meghajtja a FourCastNet 3-at, amely globálisan modellezi az időjárást és stabilan fut jóval hosszabb időtávokra.
A fizikai világ „megengedőbb”, mint hinnénk
Anandkumar további vizsgálatai más fizikai területeken is biztató eredményeket hoztak. Például a fúziós kutatásokban néhány ezer példa elegendő lehet plazmadiszrupciók előrejelzésére, és ezek a modellek milliószor gyorsabban futnak, mint a hagyományos szimulációk. Ez azt sugallja, hogy bár a skálázás másképp működik, mint a nyelvi modelleknél, léteznek hatékony stratégiák: az építészeti és fizikai ismeretek beágyazása a modellbe.
Anandkumar célja továbbra is egyfajta "alapmodellt a fizikához" létrehozni — egy olyan modellt, amely többféle jelenséget lefed, és képes szimulációra és tervezésre egyaránt. Ebből a szempontból a megközelítés lényege: "Az összes dolgot, ami működik a deep learningben, vegyük át, de tegyük őket elvi síkon is kissé szilárdabbá."
Kiterjesztések: formális verifikáció és közpolitika
Anandkumar munkássága nem merül ki a numerikus szimulációkban. Fejlesztett egy sor megoldást, amely a neurális hálózatokat és az automatizált bizonyítási technikákat integrálja. Például a TorchLean keretrendszer lehetővé teszi, hogy PyTorch-stílusú hálózatokat írjanak a Lean bizonyítás-asszisztensben, és formálisan ellenőrizhessék őket. Ez fontos lépés lehet olyan alkalmazásoknál, ahol a hálózatok viselkedésére szigorú korlátokat kell bizonyítani — például ha egy neurális hálózatot beépítenének egy fúziós reaktor szabályozási körébe.
Továbbá Anima Anandkumar nemrégiben kinevezést kapott az Egyesült Nemzetek Tudományos Tanácsadó Testületébe (United Nations Scientific Advisory Board). Ebben a szerepben célja, hogy a politikai döntéshozatalba bizonyítékokon alapuló nézőpontokat vigyen, és bemutassa, miként tudnak a tudományos területekben alkalmazott AI-megoldások javítani az emberek életminőségét világszerte.
Mit jelent mindez a jövőre nézve?
A Neural Operators és a FourCastNet család esete azt mutatja, hogy a fizikai rendszerek modellezésében nem a standard, adatközpontú skálázás az egyetlen út. Ahol az adatmennyiség korlátozott és a felbontás óriási kontextust igényel, ott a modellekbe beépített fizikai struktúrák és elvi korlátok gyorsabb és hatékonyabb előrelépést tesznek lehetővé. Az időjárás csak a kezdet; a megközelítés alkalmazható fúzióra, anyagtudományokra, és más multiskálás fizikai problémákra is.
Ez a munkasorozat — és a Latent.Space podcast epizódja, amelyben Anandkumar szerepelt — több szempontból is releváns a mesterséges intelligencia és a tudomány jövője szempontjából: elegáns matematika, klasszikus harmonikus analízis, modern AI-fejlődés és gyakorlati modellezési módszerek egyaránt megtalálhatók benne.
(Figyeljük meg a konkrét számokat és arányokat az eredeti kutatásokból: a nyílt adatkészletek gyakran tízezres vagy százezres példányúak, a kontextushossz ipari felbontásnál százmilliárdos vagy billiós nagyságrendbe léphet, néhány ezer mintával fúzióban is előre jelezhetők események, és bizonyos modellek a hagyományos szimulációkhoz képest a futási időt tekintve akár milliószoros gyorsulást mutatnak.)
