A GeneBench-Pro egy kutatási szintű benchmark, amely azt méri, mennyire képesek az AI‑ügynökök kezelni azokat a bizonytalansággal és döntéshozatallal járó feladatokat, amelyek a valós számítási biológiai kutatásokban felmerülnek. A kezdeményezés bővíti az előző GeneBench‑t, és nehezebb, élethűbb problémákat fed le genomika, kvantitatív biológia és transzlációs medicina területén, megragadva a kutatás iteratív és ambivalens jellegét.
Miért más ez, mint a megszokott benchmarkok?
A valós tudományos adatok ritkán érkeznek részletes utasításokkal. A kutatóknak el kell dönteniük, egy megfigyelés biológiai jelenséget vagy zajt tükröz-e, támogatja‑e az adathalmaz a feltett kérdést, és mikor tekinthető egy eredmény döntésre alkalmasnak. Sok meglévő mérés nem vizsgálja meggyőzően ezeket a rendszerszintű ítéleteket — például az ambiguitáskezelést, feltevések revízióját, elemzési útvonal‑választást és a döntésre való alkalmasság felismerését.
GeneBench‑Pro célja ezen magasabb szintű képességek pontos mérése. A koncepcióban a „research taste” (kutatói ítélőképesség) azokat a döntési láncokat jelöli, amelyek meghatározzák a vizsgálati irányt: mit támogatnak az adatok, hogyan változtassanak a korai diagnosztikák a modell- vagy estimand‑beállításon, és mikor kell módosítani a kezdeti tervet.
A benchmark felépítése
- A teljes benchmark 129 problémát tartalmaz, amelyek különböző számítási biológiai helyzeteket és módszereket fednek le.
- Minden GeneBench‑Pro probléma realistán „koszos” adathalmazt, rövid kísérleti kontextust és egy downstream döntéshez kötött cél‑estimandot ad. A helyes válaszhoz a modellnek fel kell fedeznie az adatokat, megfelelő analitikai stratégiát kell választania, iteratív kísérletezést kell bemutatnia és végső numerikus eredményt kell szolgáltatnia.
- A problémák szintetikusak: a teljes okozati szerkezet ismert, az adat‑generálási folyamat közvetlenül szimulált. Ez lehetővé teszi a nehézség hangolását, annak biztosítását, hogy ésszerű szubjektív analitikai különbségek elfogadható numerikus eredményekhez vezessenek, és azt is, hogy ellenőrizzük: érvényes, de hibás elemzések elbuknak.
- A vázlatokat nyomkövetési elemzésekkel auditálják, hogy kizárják az adat‑szivárgást és a nem kívánt megoldási útvonalakat.
Külső szakértői felülvizsgálat és nyílt forrás
A 129 problémából 82‑t külső doménszakértőknek küldtünk meg (graduate students, postdoctoral researchers, industry scientists és professzorok). A véleményezők értékelték a problémák realizmusát, a célválasz azonosíthatóságát és az alkalmazott módszerek helyességét; a visszajelzéseket a problémák finomhangolására használtuk.
Tíz reprezentatív GeneBench‑Pro kérdést nyíltan elérhetővé tettünk a Hugging Face‑en interaktív felülettel, és készül egy 50‑kérdéses részhalmaz is, amelyet független harmadik fél, az Artificial Analysis számára adunk át további benchmarkozásra.
Futási környezet és példák
Minden probléma önálló tudományos elemzésként van kialakítva: az ügynökök egy izolált munkaterülethez férnek hozzá, rövid prompttal, adatfájlokkal és egy szabványos bioinformatikai szoftverkörnyezettel, amely Python‑t, tudományos számítási könyvtárakat és alapvető genomikai csomagokat (például PLINK 2.0) tartalmaz — bár a problémák nem igényelnek kötelezően speciális domain‑toolokat.
A cikkben bemutatott egyik illusztratív probléma egy molekuláris tumorboard regiszterből származó, TXR1‑irányított inhibitorra alkalmas haladó szilárd tumoros eseteket tartalmazó adathalmaz: a feladat a TXR1i kontra nem‑TXR1 rendszerterápia margóhatásának becslése a 16. heti klinikai előnyre nézve azon tumorokban, ahol SV‑vezérelt TXR1 célzott aktiváció van időzéróban; illetve a 8 hetes kezelés‑korlátozó toxicitás/kizáródás kockázatának becslése ugyanabból a célpopulációból, emellett a nettó klinikai hasznosság kiszámítása a megadott képlet szerint. A probléma egy valós kísérlet adataiból származik, és az értékelés nem csak numerikus helyességen, hanem az analitikai gondolkodás minőségén is alapul. Egy példa megoldási szabály is szerepel a promptban: az eredményt pontosan egy JSON objektumként kell visszaadni.
Minőségbiztosítás: elkerülendő benchmark‑hibák
Sok hosszú horizontú biológiai benchmark többlépéses kérdéseket épít történeti, „koszos” adatok köré, ahol előfordulhat, hogy nincs egyetlen egyértelmű helyes út. Ennek kockázataival a GeneBench‑Pro úgy küzd, hogy a problémákat szintetikusan generálja és alaposan auditálja, így a helyes válasz igazi analitikai útvonalválasztást tükröz, nem pedig szerzői preferenciák vagy véletlen numerikus érzéketlenség eredményét.
Értékelés és korai eredmények
Mivel a generálási folyamatot ellenőrizzük, a helyesség determinisztikusan, ismert célértékekhez mérhető — ezzel kiküszöbölhető a modell‑választási variabilitás és a rubric‑alapú értékelés verbóz hatásai.
A legjobb modellünk, GPT‑5.6 Sol, a legmagasabb érvelési szinten 28.7%‑os passzarányt ér el (Pro módban 31.5%). Ez jelentős javulás az eredeti GeneBench építése idején tapasztalt GPT‑5 alatti 5%‑os szinthez képest. Ugyanakkor a legkönnyebb érvelési szinten GPT‑5.6 Sol csak egy számjegyű passzarányt ér el. A skálázás és a teszt‑időben alkalmazott nagyobb számítástechnikai erőforrások jelentős hatást mutatnak: a GPT‑5.6 Sol a legmagasabb szinten majdnem hatszor annyi kérdést old meg, mint a GPT‑5.2, miközben körülbelül kétharmadnyi tokenhasználattal dolgozik.
Összehasonlítások más modellcsaládokkal azt mutatják, hogy a GPT modellek az egyik legerősebb rendszernek bizonyulnak a magas szintű, kvantitatív bizonytalanság melletti tudományos érvelésben. A teljesítménykülönbség a GPT‑5.6, GPT‑5.5 és vezető nyílt forrású modellek (például GLM 5.2) között nagyobb, mint amire a kódolási benchmarkok extrapolációja alapján számítanánk.
Fejlesztés közben frontier GPT modelleket is használtunk a problémák értékelésére és „megerősítésére”, ezért feltételeztük, hogy GeneBench‑Pro esetleg torzíthat a GPT modellek javára; a gyakorlatban azonban a versenytárs modellek legfeljebb megközelítették a publikált GPT‑teljesítményt, és általában elmaradtak.
Gazdasági és tudományos jelentőség
A felmérések szerint egy tipikus GeneBench‑Pro probléma egy emberi szakértőnek 20–40 órát venne igénybe. Konzervatív 200 USD/óra órabérrel számolva egyetlen probléma emberi munkaerőköltsége ezrekbe kerülhet. Jelenleg az AI‑ügynökök még túl megbízhatatlanok ahhoz, hogy teljes mértékben helyettesítsék a szakértőket, de a számítási költségek néhány dollár egy probléma megoldásához viszonylag alacsonyak; még részleges automatizálás is jelentős gazdasági és tudományos hasznot eredményezhet.
Hol maradnak a hiányosságok?
Annak ellenére, hogy a frontier modellek részleges előrelépést mutatnak, a jelenlegi rendszerek kevesebb mint egyharmadát oldják meg a problémáknak, ami arra utal, hogy még sok területen kell fejlődni. A modellek gyakran részleges eredményeket adnak, de nehezen zárják le az inferenciális kört: ez hasonló mintázatot mutat a kezdők és a tapasztalt szakértők közti különbséggel. A szakértők tapasztalata segít a probléma keretezésében és az adaptív megközelítésben; a kezdők megfigyelnek dolgokat, de nehezen integrálják őket a problémakörbe.
Egyes példák a problémákon belül: korábbi, kevésbé megfelelő gyakorlatok kezeltek például kezelési időzítést konvencionális Cox‑modelllel anélkül, hogy a kezelés–konfounder visszacsatolást kezelnék. Egy jobban megtervezett megközelítés új‑felhasználó marginal structural Cox modellt alkalmazott, 818 előre jelzett prevalens felhasználó kizárásával, stabilizált inverz‑valószínűségi súlyokkal a kezelés‑indításhoz és 90 napos hatékonysági késéssel a kitettség kezelésére.
Összegzés
A GeneBench‑Pro egy első lépés arra, hogy mérhetővé tegyük a „kutatói ízlést” és a magasabb szintű tudományos ítélőképességet igénylő képességeket. A benchmark célja, hogy ne csupán a könyvtudást vagy az ismétlődő elemzések végrehajtását tesztelje, hanem azt is, hogy a modellek mennyire tudják kezdeti elemzési javaslatukat megfogalmazni, iterálni és módosítani, majd olyan következtetésekre jutni, amelyekre klinikai, akadémiai vagy ipari döntések épülhetnek. Ahogy a modellek fejlődnek, az ilyen jellegű benchmarkok egyre fontosabb eszközei lesznek a valódi előrehaladás mérésének és a még meglévő hiányosságok feltárásának.
