A Chain-of-Evidence (CoE) egy új keretrendszer, amelyet az AI-vezérelt tudományos munkák verifikálhatóságának biztosítására javasolnak. A szerzők a CoE elvét megvalósítják a Science One Framework nevű autonóm kutatási prototípusban, és bemutatják a CoE Auditot, egy automatizált értékelési protokollt, amely a generált cikkeket, kódot és hivatkozásokat integritás szempontjából ellenőrzi.
Mi a probléma?
Nagy nyelvi modelleket (LLM-eket) egyre gyakrabban alkalmaznak autonóm ügynökként teljes kutatási munkafolyamatok elvégzésére: irodalomáttekintést, hipotézisalkotást, kísérletek futtatását és kéziratírást. Ugyanakkor a rendszerek felületi minősége javulása mellett felmerült a verifikálhatóság kritikus hiánya. A meglévő autonóm pipeline-ok iteratív szöveggenerálása során a korai fázisokban keletkező hibák felerősödnek: több rendszerről megfigyelték, hogy nem létező hivatkozásokat állítanak elő, a leírt módszerek és a ténylegesen lefuttatott kód között eltérések vannak, és hogy a cikkekben közölt eredmények gyakran nem reprodukálhatók a mellékelt kódból.
Chain-of-Evidence (CoE): elv és célok
A CoE egy fogalmi keretrendszer, amely azt határozza meg, mitől tekinthető egy kutatási eredmény megbízhatónak. A keretrendszer nem azt írja elő, hogyan kell megépíteni az ügynököt, hanem azokat a tulajdonságokat definiálja, amelyeket a kimeneteknek teljesíteniük kell. Alapelvként két feltételt fogalmaz meg:
- Teljesség: minden állításhoz rögzített bizonyítékláncnak kell kapcsolódnia.
- Helyesség: minden láncnak ténylegesen alá kell támasztania az állítást.
Állítás lehet hivatkozás, közölt számadat, módszerleírás vagy következtetés; a hozzá kapcsolódó bizonyíték lehet peer-reviewed cikk, kísérleti naplóbejegyzés, a ténylegesen lefutott kód vagy egy eredménytábla. A CoE Audit ezen láncok megszakadását képes mérni: például a nem létező ("hallucinált") hivatkozás, a reprodukálhatatlan pontszám és a módszer-kód eltérés mind olyan hibák, amelyek a bizonyítéklánc törésére mutatnak.
A Science One Framework felépítése
A szerzők azt demonstrálják, hogy a verifikálhatóság beépítése nem szorít le a teljesítményről: erre hozták létre a Science One Frameworköt, amely a CoE elvét alapból megvalósítja három fő modulon keresztül:
-
Problem investigator (irodalmi megalapozás): a rendszer a Semantic Scholar API-t használva épít fel hivatkozási gráfot, és témánként legfeljebb 100 teljes szövegű PDF-et dolgoz fel, hogy strukturált kutatási összefoglalót állítson elő. A végső cikk minden hivatkozása ebből a lekérdezésből származik, tehát nem a modell memóriájára támaszkodik, ezzel kiküszöbölve a hallucinált referenciákat.
-
Discovery engine (párhuzamos explore–exploit): a rendszer több, izolált ágban párhuzamosan vizsgál és finomít ötleteket. Minden ciklusban egy Solver ügynök implementálja a megoldást, egy feladatra szabott értékelő pedig pontozza azt. A magas teljesítményű ágakat iteratívan finomítják, és az összes nyers értékelési kimenet rögzített, csak olvasható naplóba kerül.
-
Paper writer és claim verifier: a kézirat végső generálása előtt a Science One Framework strukturált reprezentációt épít minden tényállításhoz, és inline bizonyítékcímkével köti azt konkrét munkaterület-artifaktumhoz. Egy külön Claim Verifier ellenőrzi az állításokat a deklarált forrásokkal, és ha egy állítás meghaladja a rendelkezésre álló bizonyítékot, akkor konzervatív módon átfogalmazza azt, ahelyett hogy eltávolítaná — így a cikk összhangban marad azzal, amit a munkák ténylegesen alátámasztanak.
CoE Audit: hogyan mérnek verifikálhatóságot
A CoE Audit egy poszthoc, automatizált vizsgálati protokoll, amely négy szigorú integritás-ellenőrzést futtat a generált cikkeken, a megoldáson, a kódon és a hivatkozásokon:
- Score verification: a cikkben közölt pontszám kinyerése és összehasonlítása a beadott kód független újrafuttatásából származó eredménnyel.
- Specification violation: a megoldó kód vizsgálata annak biztosítására, hogy valóban a feladatot oldja meg, és ne a mérőszám kihasználásával vagy a ground-truth fájlok olvasásával érje el a jó eredményt.
- Reference verification: minden bibliográfiai tétel keresése tudományos API-kkal a nem létező (phantom) hivatkozások kiszűrésére.
- Method-code alignment: LLM-es bírák használata a módszertani rész és a kód összevetésére, hogy a leírás hű legyen a megvalósításhoz.
Eredmények
A szerzők a CoE Auditot 75 generált cikken alkalmazták öt rendszert tesztelve öt rendszerteljesítmény-feladaton (Prism, Cloudcast, EPLB, LLM-SQL és transaction scheduling) az Automated Design of Research Systems (ADRS) benchmarkból. A Science One Framework statisztikailag szignifikánsan jobb verifikálhatósági eredményeket ért el a baselines rendszereknél:
- Hivatkozások: a Science One Frameworknél nem találtak phantom hivatkozást — minden hivatkozás valós, lekérdezhető publikációra mutatott. A baseline rendszerek hallucinációs aránya legfeljebb 21% volt.
- Pontszám-verifikáció: a Science One Framework tökéletes eredményt ért el a score verification ellenőrzésen.
- Módszer–kód illeszkedés: a Science One Framework a legjobb eredményt érte el ezen a vizsgálaton; a baseline rendszerek gyakran leírtak bonyolult algoritmusokat (például „hybrid neuro-symbolic solvers”), miközben a beadott kód egyszerű determinisztikus heuristikát tartalmazott.
Teljesítmény: a verifikálhatóság szigorú betartása nem csökkentette a tudományos teljesítményt. A Science One Framework az öt ADRS feladat mindegyikén elérte vagy meghaladta az emberi szakértők szintjét, két feladaton (Cloudcast és EPLB) pedig a legjobb összpontszámot érte el.
Külső, komplex feladatokon való tesztelés:
- MLE-Bench: öt nehéz Kaggle versenyen (köztük orvosi képfeldolgozás, finom kategóriájú felismerés és 3D-percepció) a Science One Framework két arany- és két ezüstérmet szerzett; különösen megnyerte a 3D objektumdetekciót olyan feladatban, ahol a baseline-ok teljesen megbuktak.
- Parameter-Golf: egy élő LLM-tréning versenyen, szigorú hardver- és fájlméretkorlátok között, a Science One Framework érvényes beadással megfelelt minden korlátnak és állítása szerint állami-of-the-art eredményt ért el (állapot: 2026. április 27.). A szerzők kiemelik, hogy a rendszer valódi, újszerű algoritmikus technikákat fedezett fel, nem csupán felületi hiperparaméter-húzogatást végzett.
Következtetések és jövőbeli irányok
A tanulmány szerint amint az autonóm kutatási rendszerek egyre összetettebb problémákat oldanak meg, a megoldó képesség önmagában nem lesz elegendő; a döntő különbséget az fogja jelenteni, hogy a létrejött kutatás mennyire megbízható és ellenőrizhető. A szerzők azt javasolják, hogy a verifikálhatóságot architekturális követelményként kezeljék: ha a bizonyítékláncokat már az állítás előállításakor építik, akkor a rendszerek képesek olyan szigorú, versenyképes és megbízható tudományos eredményeket produkálni, amilyeneket a Science One Framework demonstrált.
Köszönetnyilvánítás és megjegyzés
A munkához hozzájárult Bhavana Dalvi Mishra, Jiefeng Chen, Chun-Liang Li, Palash Goyal, Mihir Parmar, Yiwen Song, Yale Song, Raj Sinha, Parthasarathy Ranganathan, Burak Gokturk és Jinsung Yoon. A Science One Framework kísérleti prototípus; a szerzők hangsúlyozzák, hogy nem áll készen termékbevezetésre.
