Ez a cikk az Epoch AI "Gradient Updates" hírlevelének egyik bejegyzéséből származik; az itt kifejtett gondolatok az egyes szerzők véleményét tükrözik, nem feltétlenül az Epoch AI teljes szervezetét. A szerző kilenc, szerinte a mesterséges intelligencia (AI) képességeinek fejlődését és társadalmi, gazdasági hatását leginkább meghatározó kérdést vázolja fel. Az Epoch benchmarking-munkáját ezek a kérdések motiválják: céljuk olyan benchmarkok és elemzések létrehozása, amelyek segítenek ezeket a kérdéseket megválaszolni.
1. Ki tudja helyettesíteni a munkámat az AI?
Konkrétabban: képes-e az AI a szűken meghatározott feladatok elvégzéséről áttérni a rendezetlenebb, nyílt végű munkák kezelésére? Epoch közvélemény-kutatásai szerint amikor emberek AI-t használnak munkájukban, legtöbbször csak a feladat egy részét bízzák rá. Ha ez megváltozik, az jelentősebb munkaerő-piaci zavarokat és gyors bevételnövekedést jelezhet az AI-modelleket fejlesztő cégek számára.
A benchmarkok eddig nagyrészt viszonylag szűk feladatokra fókuszáltak (hibajavítás, matekfeladatok, jelent writing). Vannak azonban kísérletek, amelyek messzebb mennek: a MirrorCode arra kér, hogy nagy szoftvercsomagokat írjanak meg az elejétől, bár strukturált környezetben. A Remote Labor Index valós freelancing projektekből dolgozik, és emberek pontozzák az AI-szállítmányokat a humán referenciaanyaghoz képest. Egy különleges példa az Andon Café, amely egy valós kávézó, amelyet és amelyet egy AI-ügynök üzemeltet; ez a fajta esettanulmány szerű benchmark valósabb képet adhat az ügynökképesítésekre.
2. Az AI előrehaladása ott történik-e, ahol nagy gazdasági hatás várható?
A „ChatGPT-pillanat” akkor jött el, amikor az AI képes volt koherensen beszélgetni sok témáról; a „Claude Code-pillanat” pedig amikor kódolási feladatok többségét érdemben megoldotta. Nem tudjuk pontosan megjósolni a következő nagy mérföldkövet, de lehetőségeket érdemes tétként követni és mérni.
Jelenleg különösen említésre méltó a kiberbiztonság: mikor lesz az AI képes nagyszámú sebezhető rendszer feltörésére? A kiberbiztonsági benchmarkok már korábban is figyelmeztető jeleket mutattak, még a Hugging Face incidens előtt is. Továbbá az általános számítógép-használat (fast, reliable computer use) mérőszámai szintén fontosak lehetnek: ha az AI megbízhatóan tudná irányítani a számítógépet, az újabb hullámot jelentene az alkalmazkodásban. Végül érdemes nyomon követni a fizikai iparágakat is — nem csak a robotikát, hanem például azt, hogy egy AI mennyire képes egy kevésbé képzett technikust vezetni egy gyártósori gép javításában.
3. Mennyire állandó a különbség a csúcstechnológiás és a lemaradó modellek között különböző területeken?
Ez a kérdés érinti a zárt és nyílt súlyú (closed vs. open weights) modelleket, az Egyesült Államok és Kína közti versenyt, illetve az amerikai csúcstechnológiai szereplők (például OpenAI, Anthropic) versus a közel-csúcscégek (például xAI, Meta) közti különbséget. Gazdasági szempontból fontos annak megértése, hogy a vezető fejlesztők képesek-e elég értéket lefölözni a versenytársakkal szemben ahhoz, hogy fenntartsák az infrastruktúra-építést.
Lehetséges, hogy a zárt súlyú fejlesztők értékszerzését az okozza, hogy az open-weight modellek látszólag kisebb erőforrásaikat néhány kulcsfontosságú területre koncentrálják (például kódolás), miközben elhanyagolnak egy hosszú farkú, gazdaságilag értékes domaint. A „benchmaxxing” jelenség extrém esete, amikor fejlesztők olyan modelleket optimalizálnak, hogy jó benchmark-eredményeket érjenek el, miközben elmaradnak a valós képességeket mérő területeken.
Átgondoltan megtervezett benchmarkok segíthetnek megvilágítani az ilyen dinamikákat, bár valószínűleg nem adnak teljes és végleges választ a kérdésre.
4. Miért korrelálnak annyira a benchmark-pontszámok egymással?
Az Epoch Capabilities Index (ECI) több benchmark pontszámát egyesíti egy általános AI-képességet mérő mutatóvá. Ennek oka, hogy a benchmarkok eredményei erősen korrelálnak egymással, még látszólag különböző domének között is. Érdemes megérteni, mit mér ez a mögöttes egydimenziós tényező.
Egy magyarázat lehet, hogy az AI cégek külön-külön dolgoznak azon, hogy minden benchmark-pontszám növekedjen, például az egyes benchmarkokhoz tartozó tréningadatok beszerzésével. Egy másik magyarázat egy általánosabb képességi tényező lehet — emberi analógiával élve egy „IQ-szerű” dimenzió. Néhány érdekes kapcsolat felmerül: például a METR Time Horizons mérésének (log-transzformált) értéke korrelált az ECI-vel, mielőtt telítődött. Egy másik lehetséges magyarázó változó a modellek maximális kontextushossza, amelyen koherens következtetést tudnak fenntartani.
Az ECI növekedési trendjei különösen hasznosak annak észlelésére, hogy az AI-fejlődés gyorsult-e. Ha jobban meg tudnánk határozni, hogy az ECI pontosan milyen valós gazdasági hatásra fordítódik le (például egy határpont növekedés = bevétel), az egy gyorsulás interpretálását is megkönnyítené.
5. Képes-e az AI maga végezni AI-kutatást (AI R&D)?
Ez a klasszikus rekurzív önfejlesztés kérdése: képesek-e automatizált AI R&D-folyamatok önmagukat továbbjavítani, esetleg robbanásszerű képességnövekedést indukálva? Egy ilyen területre irányuló benchmark-sorozat előre jelezhetné az automatizált R&D kockázatait és lehetőségeit.
Az AI R&D folyamata összetett, és az automatizálás különféle képességeket igényelhet. Benchmarkok lefedhetik a folyamat sok aspektusát, vagy összpontosíthatnak egyetlen metrikára, illetve képesek lehetnek nagyobb lélegzetű kutatási eredmények generálásának mérésére. Két kihívás különösen hangsúlyos: realizmus — a jelentős AI R&D a frontier cégeken belül zajlik, amelyek részben átláthatatlanok; és költség — a valósághű skálán végzett R&D erőforrás-igényes (GPU-k stb.), és a benchmarkok ilyen skálájának biztosítása költséges vagy gyakorlatilag lehetetlen egyes esetekben.
6. Tud-e az AI menet közben tanulni?
Ez a folyamatos tanulás (continual learning) egy egyszerűbb változata: képes-e az AI egy feladatot ismételt kísérletek során javítani anélkül, hogy súlyfrissítést végezne (például csak a kontextuskezeléssel)? Ha igen, a telepítés előtti tesztelés nem adna végleges garanciát a rendszer képességeinek határairól — különösen ha az AI egyfeladatokban vagy veszélyes műveletekben képes volna menet közben fejlődni.
Az EBR-bench ezt a kérdést vizsgálja úgy, hogy az AI-t ismételten játszat egy hosszú, stratégiai kampány-stílusú társasjátékkal. Az eddigi eredmények szerint az AI nem mutatott erős pozitív tanulási pályát a sokszori játék során.
7. Milyen hozadéka van az inferencia skálázásának?
Ez a kérdés rokon az előzővel: elérhető-e bármely feladat, ha az AI elég sokáig „gondolkodik”? Kísérletek jellemzően logaritmikus hozamokat mutatnak legjobb esetben, így a szükséges skála sok feladatnál gyakorlatilag megvalósíthatatlan lehet. Ugyanakkor az inferencia költségeinek csökkenése vagy további tréning által bizonyos képességek hamarosan elérhetővé válhatnak.
Két jelentős nehézség a benchmarkolásban: nem tudjuk pontosan, hogyan a leghatékonyabb az inferencia-szám növelése (sorosan több gondolkodási idő, több ügynök, vagy speciális architektúrák lehetnek hatékonyabbak), és az eredmény doméntől függően eltérő lehet: egyes problémák érdemben javulhatnak, míg mások hamar platóra futnak.
8. Mennyire általánosít jól a megerősítéses tanulás (RL) különböző tartományokra és eloszlásokon kívül?
Az AI-képességek fejlődése részben jobb, több és magasabb minőségű tréningadatokra vezethető vissza. Azonban meddig magyarázza ez a javulást? A rendszerek hogyan teljesítenek olyan feladatokon, amelyek jelentősen eltérnek a tréning eloszlástól?
Nem teljesen igaz, hogy az AI rossz volna a képzési eloszlástól távoli feladatokban: javultak például a „puzzle” benchmarkunkon (amely egy nem nyilvános játékból származik), még akkor is, ha valószínűtlennek tűnik, hogy a modelleket közvetlenül az adott játék adataival finomhangolták volna. A MirrorCode esetében az AI közel ugyanolyan jól teljesít alacsony erőforrású nyelveken, mint magas erőforrásúakon. Azonban a generalizáció mértéke kevésbé világos, minél távolabb vagyunk a tréning-eloszlástól; elképzelhető, hogy az AI-k átlépték a küszöböt, és „mindenben egyszerre jobbak” lesznek, de ez még vitatott.
Olyan benchmarkok kellenek, amelyek erősen eltérnek az ismert tréning-eloszlástól, és nem zavarja őket más, az AI teljesítményét rontó tényező.
9. Tud-e az AI „új ötleteket” kitalálni?
A technológiai fejlődés egy része új ötletek felbukkanásából áll: emberek új elméleteket, módszereket találnak ki, amelyeket tesztelnek és kibővítenek. Az AI növelheti az ilyen ötletek számát és értékét, ami példa nélküli hatáshoz vezethet. Nem nyilvánvaló, hogy más szűk keresztmetszetek (például fizikai tesztelés) nem lassítanák ezt a folyamatot.
Jelenleg nincs „adatközpont zsenikből”. A matematika területén látható előrelépések tűnnek leginkább olyanoknak, amelyeket emberek is képesek lennének megalkotni; a matematikusok szerint az AI által eddig felvetett ötletek nem voltak radikálisan idegenek az emberi gondolkodástól. A FrontierMath: Open Problems projekt célja olyan problémák gyűjtése, amelyeknél van ésszerű esély arra, hogy egy AI valóban „új ötletet” produkáljon — így egy AI-s megoldás megtekintése megérheti a vizsgálatot.
Összegzés
Az Epoch AI kilenc kérdése tükrözi azokat a pontokat, ahol benchmarkok és empirikus mérések a legnagyobb felvilágosítást adhatják az AI jövőbeli társadalmi és gazdasági hatásáról. A szerző szerint többféle benchmarkra és ismételt, valós helyzeteket modellező esettanulmányra lesz szükség, hogy pontosabban megértsük a munkapiaci hatásokat, a generalizációt, a skálázás hozadékát és azt, hogy az AI önállóan képes-e kutatni vagy „új ötleteket” hozni.
Ha érdekel ez a kérdéskör és szeretnél részt venni a kutatásban, az Epoch AI felvételi lehetőségeit ajánlják figyelembe venni.
