Egy több intézményt magában foglaló kutatócsoport megvizsgálta, hogy a jelenlegi, élvonalbeli mesterséges intelligencia-ügynökök képesek‑e eredeti kutatási ötletek előállítására olyan módon, hogy valóban előre mozdítsák a mesterségesintelligencia-kutatást. A projekt résztvevői között szerepelt a Princeton University, Cornflower Labs, UK AI Security Institute, University of Toronto, UC Berkeley, Georgetown University (CSET), Johns Hopkins University, Golden Gate Institute for AI, AI Digest és a Stanford University.
Módszer: „shadow evaluation” unpublished cikkekkel
A vizsgálat különlegessége a „shadow evaluation” módszer volt. A kutatók két, a NeurIPS 2026 konferenciának benyújtott, de még nem nyilvános cikk központi kutatási kérdését adták meg egy jól forrásozott frontier agentnek (Claude Opus 4.8, az OpenClaw környezetben). Az agenteknek meg kellett válaszolniuk a kérdést, majd a cikkek eredeti szerzői értékelték az agentek munkáját ugyanúgy, mintha egy konferencia-benyújtást bírálnának. A megközelítés hasonlít a korábbi „First Proof” vizsgálathoz, amelyben azt tesztelték, mennyire képesek AI‑modellek részt venni még megoldatlan matematikai problémákon.
A két vizsgált kutatási irány a következő volt:
- a „strukturális és irányíthatósági” kérdések LLM‑persona modellek esetén (Personas),
- egy eloszláseltolódás-detektor tervezése táblázatos alapmodellhez (TabPFN témakörére vonatkozó próbálkozás).
A használt rendszer: Claude Opus 4.8 futtatva az OpenClaw keretrendszeren.
Eredmények: mérnöki megoldások, kevés kreativitás
A kutatók megállapítása szerint az agentek képesek voltak megoldani azokat a mérnöki feladatokat, amelyek a kutatások elvégzéséhez szükségesek (például kódgenerálás, kísérlettervezés technikai kivitelezése), de nem tudtak olyan eredeti tudományos hozzájárulást létrehozni, amely egy top gépi tanulási konferencián megállná a helyét.
Konkrét megítélés:
- Mindkét, az agentek által készített „cikket” az eredeti szerzők elutasították. A Personas témájú munka pontszáma 2 ("Reject"), a TabPFN‑jellegű munka pontszáma 1 ("Strong Reject") lett.
- A visszautasító értékelések ugyanazokat a hibákat emelték ki: rosszul motivált adathasználat és kísérletek, nem létező vagy gyenge új tudományos hozzájárulás, valamint nehezen átlátható, impenetrábilis fogalmazás.
A kutatásban az agentek több ismert gyengeséget is mutattak: korán egy szűk kutatási útra álltak rá és hamar elköteleződtek, nem reagáltak érdemben a szintetikusan generált visszajelzésekre a kísérlettervezés javításával kapcsolatban, és nehezen váltottak el elvetett, ígéretesnek nem tűnő megközelítésektől, hogy alternatív vonalakat kövessenek.
Mit jelent ez a jövőre nézve?
A szerzők és a cikket ismertető elemzők szerint az eredmények jelzésértékűek a mesterséges intelligencia önmagát fejlesztő rendszereinek ütemével kapcsolatban. Ha az AI‑rendszerek nem képesek önállóan előállítani paradigmaváltó, kreatív kutatási ötleteket, akkor a teljesen automatizált, rekurszív önfejlesztés (recursive self‑improvement) valószínűleg lassabb lehet, mint a legoptimistább becslések.
Az eredmény összhangban áll korábbi megfigyelésekkel: az Anthropic egy korábbi kísérlete során arra jutott, hogy az automatizált kutatási folyamatok sikeréhez emberi kutatóknak gyakran kell irányt adniuk vagy erősen „primerelniük” az agenteket, különben azok ugyan előrehaladnak, de nem fedeznek fel kellően kreatív ötleteket a teljesítmény drámai javításához.
Következtetés
A mostani vizsgálat szerint a kortárs, jól forrásozott frontier AI‑ügynökök kiváló mérnöki feladatmegoldók, ugyanakkor hiányzik belőlük az a fajta ízléses, intuitív kreativitás, amely új, konferenciaszintű tudományos hozzájárulások kidolgozásához szükséges. Ez a különbség fontos tényező a mesterséges intelligencia jövőbeli fejlesztési ütemének és a lehetséges singularitással kapcsolatos idővonalak értékelésében.
Forrásként a kutatók a „Can AI agents conduct open-ended AI research? Early evidence from two case studies” című munkát (arXiv) említik.
