Egy több intézmény kutatóiból álló csoport — amelyet Peter Kirgis és Sayash Kapoor (Princeton University) vezetett — arra a következtetésre jutott, hogy a ma elérhető AI-ügynökök még nem képesek önállóan, nyitott végű kutatásokat megvalósítani olyan szinten, amely egy élvonalbeli gépi tanulási konferenciára beküldött, elfogadásra érdemes dolgozat minőségét hozná.
Mi volt a kérdés és hogyan teszteltek?
A csapat új értékelési módszert vezetett be, „shadow evaluation” néven: az AI-ügynököknek egy magas színvonalú, még nem publikált kutatási kérdésre kellett válaszolniuk. Két, a rangos NeurIPS 2026 konferenciára benyújtott dolgozatból származó kutatási problémát adtak a modelleknek; az anyagok nem voltak nyilvánosak, így az ügynökök nem használhatták fel a memóriájukból kikerülő konkrét válaszokat.
A tesztelt rendszer Anthropic Claude Opus 4.8 volt, OpenClaw nevű nyílt forrású szoftveren futtatva. Az ügynököknek hat nap állt rendelkezésre, $3,000 Anthropic API-kredit, GPU-költségkeret, virtuális gépek és hozzáférés az internethez, hogy egy, a NeurIPS szintjéhez mérhető kutatási cikket készítsenek. A dolgozatokat az eredeti szerzők értékelték, ugyanúgy, mintha egy konferenciára érkezett beküldésről lenne szó.
A feladatok
Az egyik vizsgált kérdés az volt, hogy egy nagy nyelvi modell viselkedését meghatározó „personákat” lehet-e a modell súlyainak (azaz a tanulás során rögzített milliárdnyi szám) szerkesztésével irányítani. A másik problémakör arra irányult, hogyan lehetne észlelni, amikor egy táblázatos adatokon alapuló prediktív modell megbízhatatlanná válik.
Eredmények: mérnöki képességek megvoltak, kutatói ítélőképesség hiányzott
A dolgozatok szerzői mindkét AI-által generált munkát elutasították. A kutatók megállapították, hogy az ügynökök képesek voltak a kutatáshoz szükséges mérnöki feladatokra: átnézték az irodalmat, több száz kísérletet futtattak le, és összegyűjtötték az eredményeket. Ugyanakkor a rendszerek nem tudtak azon a szinten önálló, kreatív és értékteremtő kutatást végezni, amely elvárható egy top konferenciás dolgozattól.
Kapoor elmondása szerint az ügynökök „egyértelműen gyengék” voltak magában a kutatási folyamat végrehajtásában: furcsa, kevéssé megalapozott kísérleteket futtattak (például nagyon kis, mesterséges adathalmazokon teszteltek hipotéziseket), nehezen írtak érthetően a munkájukról, és nem tettek valódi, eredeti hozzájárulást a témához. Sok esetben a modellek gyorsan elköteleződtek kevésnek bizonyuló megközelítések mellett, nem vizsgáltak kellőképpen alternatív ötleteket, és nem tudtak radikálisan újratervezni vagy visszalépni sikertelen irányokból — csak kisebb módosításokat voltak képesek végrehajtani.
Kommunikáció, erőforrások és visszacsatolás kezelése
A kísérleti ügynökök nem tudták hatékonyan kezelni erőforrásaikat (tokenek, számítási idő, munkamenetek): nem tartották be az instrukciókat az egyes kutatási fázisokra fordítandó időről vagy a cikkhosszra vonatkozó szabályokról. Nem építették be hasznosan a segédügynökök vagy külső AI-ellenőrző eszközök visszajelzését; ahelyett, hogy módszertanukat átdolgozták volna, az állításaikat szűkítették és több fenntartást tettek.
Pozitívumként azt találták, hogy a fő ügynök nem került be „reward hacking” típusú viselkedésbe: nem próbálták eltitkolni vagy meghamisítani a kísérleteket vagy az adatokat. Bár a segédügynökök időnként hallucináltak vagy rosszul közölték az eredményeket, ezeket az orchestrator, a vezető ügynök általában kiszűrte.
Miért történik ez? Tréningmódszerek és nyitott végű feladatok
Kapoor szerint a jelenség gyökere részben a modellek tréningjében keresendő: a jelenlegi tanulási módszerek, például a megerősítéses tanulás (reinforcement learning), könnyebben alkalmazhatók olyan feladatokra, amelyek sikere automatikusan ellenőrizhető. Nyitott végű kutatási feladatok esetén azonban nehezebb olyan környezetet létrehozni, amelyben a modell megtanulhatja a kreatív, ítélőképességet igénylő lépéseket.
A csapat most ugyanezt a kísérletet végrehajtja Mythos-szal, Anthropic legfejlettebb modelljével, amely áprilisban indult. (Mythosra azóta a Trump-kormányzat biztonsági korlátozásokat írt elő; a modellt most csak jóváhagyott szervezetek használhatják.) Anthropic nem válaszolt a megkeresésre.
A vizsgálat korlátai
A tanulmány több korláttal rendelkezik: mindössze két dolgozatot vizsgáltak, és az eredeti szerzők tudták, hogy az általuk bírált munkák AI-ügynökök által készültek, ami befolyásolhatta az értékelést. Emellett a kutatás kialakításában és végrehajtásában a kutatóknak jelentős mérlegelési lehetőségük volt, így a korábbi hiedelmek vagy torzítások hatása sem zárható ki. Nyitott végű kutatások értékelése cserébe objektivitásból veszíthet, de valósághűbb próbát ad, mint a szabványos benchmarkok.
Következmények a „rekurzív önfejlesztés” ütemére
A tanulmány eredményei mérséklik azokat a gyors ütemre vonatkozó jóslatokat, amelyek szerint a modellek hamarosan önmagukat képesek lesznek jelentősen gyorsítani. Nagy szereplők, például Anthropic és OpenAI is kommunikáltak már a modellek önfejlesztésével kapcsolatos előrelépéseikről: Anthropic júniusi blogbejegyzése „When AI Builds Itself” címmel részletezte a saját haladásukat, és júliusban az OpenAI jelezte, hogy GPT-5.6 Sol segített egy kisebb modell post-trainelésében, időmegtakarítást eredményezve.
Anthropic társalapítója, Jack Clark a Import AI hírlevelében hasonló tapasztalatokról írt: szerinte a mai rendszerek kiváló mérnökök, de hiányzik belőlük az intuitív kreativitás, ami rövidebb időtávú optimista jóslatok szerint akadályozhatja a gyors rekurzív önfejlesztést. Boston University nyelvészeti és számítástudományi professzora, Najoung Kim szerint, ha megfelelő befektetés és célzott munka történik, lehet előrelépés, de az is elképzelhető, hogy a fejlődés kettészakad: gyors javulás a mérhető, scorable feladatokban és lassabb haladás a nyitott végű kutatásban.
A nagy kérdés továbbra is az, mennyire létfontosságú a kreatív, nyitott végű kutatás a valódi rekurzív önfejlesztéshez: Kapoor emlékeztet arra, hogy a történelem nagy áttörései — például a transformer-architektúra — kreatív ugrásokat igényeltek. Ugyanakkor mások azt feltételezik, hogy a transzformatív AI-hoz, beleértve a rekurzív önfejlesztést is, elegendő lehet a meglévő elemek fokozatos gyorsítása és benchmark-értékek javítása. „Ez jelenleg a billió dolláros kérdés” — foglalta össze Kapoor.
Összegzés
A Princeton vezette tanulmány azt mutatja, hogy a korszerű AI-ügynökök technikailag képesek lefolytatni a kutatáshoz szükséges mérnöki munkát, de nem tudnak egyelőre kreatív, nyitott végű tudományos előrelépést produkálni egy top konferencia szintjén. Ez a megállapítás óvatosságra int azokkal a rövid távú jóslatokkal kapcsolatban, amelyek szerint az AI hamarosan önmagát képes lesz gyorsan és jelentősen fejleszteni.
