Az Inherent nevű AI-startup bemutatta Faradayt, egy 27 milliárd paraméteres „AI tudóst”, amelyet arra terveztek, hogy nagy, zárt élvonalbeli modellek fölött működve javítsa azok képességét tudományos replikációs feladatok elvégzésére. A csapat létrehozott egy Replica nevű adatbázist is: 100 publikációt (1990–2026) alakítottak át 310 replikációs feladattá, amelyekből hiányzó eredményeket kell a rendszereknek pótolniuk.
Mit építettek és hogyan működik
Inherent egy felügyeleti réteget és egy relatíve kis nagyságú nyelvi modellt (Faraday) illeszt a nagy, zárt frontier modellek fölé. A felügyeleti modell célja, hogy irányítsa és hatékonyabbá tegye a nagy modellek munkáját tudományos kísérletek autonóm végrehajtásában. A Faraday magja egy 27 milliárd paraméteres modell, amely Qwen-3.6-27B-re lett post-trained, és mint eszközt OpenAI Codex kódolóügynököt használ.
A tanításhoz és értékeléshez használt Replica-készletet úgy állították össze, hogy a kiválasztott 100 gépi tanulás és AI-for-science cikkből 310 replikációs feladatot hoztak létre: minden feladatnál egy-egy kulcsfontosságú eredményt tüntettek el, és azt kérték a rendszerektől, hogy autonóm módon végezzenek kísérleteket a hiányzó részek pótlására.
Replica, a bírálat és a képzési folyamat
Minden feladathoz a csapat Claude Opus 4.7-et használta prompotolt meta-rubrikával, hogy feladatspecifikus értékelési rubrikát generáljon. Ezt követően egy Codex-alapú Judge szolgált „összjutalmat és per-turn hitelosztási súlyokat”, amelyeket egy módosított GRPO (Generalized Reward-Penalized Optimization) folyamatban alkalmaztak a Faraday ügynök továbbképzésére. A megközelítés lényegében egy képességközpontú felügyeleti mechanizmus, amely iteratívan finomítja a kisebb modellt a jól megoldott pótló feladatok alapján.
Eredmények
A publikált eredmények szerint Faraday, amely Codexet használj eszközként, egyes replikációs feladatokban felülmúlja a standard Claude Opus 4.8-at és a GPT-5.5-öt. A tanulmányban idézett rubrikaalapú bíró szerint Faraday jobb teljesítményt ért el a belső eloszlású (in-distribution) ML feladatok 73%-ában, és a tartalékban hagyott (held-out) AI-for-science feladatok 60%-ában. Az Inherent azt írja, hogy a Faraday jelentős teljesítménynövekedést hozott a bázis Qwen-modellhez képest mind a tanító-, mind a tesztfeladatok esetén.
Miért fontos ez
A szerzők szerint az olyan rendszerek fejlődése, mint Faraday, relevánsabbá teszi a kérdést, hogy az AI képes lesz-e önmagát fejleszteni: a Finoman meghatározatlan részletek pótlásához szükséges készségek ugyanis közel állnak ahhoz, ami egy kísérlet önálló megtervezéséhez és végrehajtásához kell. A Faraday által elsajátított képességek — mit vizsgáljon, hogyan illessze a kísérletet költségkerethez, és hogyan ítélje meg egy replikáció sikerét — együttesen növekednek a frontier kódolómodellek előrehaladásával.
A cég reménye, hogy egyetlen post-trained külső ügynök képes lesz követni a frontier modellek fejlődését, amíg azok jobbá válnak, ami rövid távon javíthatja a replikációs és kutatási munkafolyamatokat, hosszabb távon pedig felveti a rekurszív önfejlesztés lehetőségének kérdését.
Hivatkozás
A tanulmány címe: Training AI Scientists to Replicate Research (arXiv).
