Bemutatták a BioBasicsBench mércét, amely száz rutinszerű nedves‑labori feladat alapján méri, mennyire képesek az AI‑ügynökök nyers kísérleti bizonyítékokat értelmezni, hibákat felismerni és megállapítani, ha az adatok nem támasztanak alá következtetést. A benchmarkot a Ligo nevű, enzimtervezésre fókuszáló biotechnológiai cég közreműködésével fejlesztették ki.
Miért fontos ez?
A hétköznapi molekuláris és sejtbiológiai munka tele van félresikerült kísérletekkel, bizonytalan képekkel és egymásnak ellentmondó megfigyelésekkel. A meglévő értékelések gyakran tudományos publikációkhoz illő, kiválogatott diagramokra vagy képekre épülnek, így nem mérik azt az ambiguitást és problémamegoldást, ami a laborban napi szinten szükséges. A BioBasicsBench célja, hogy ezt a rutinszerű elemzési munkát tegye mérhetővé és fejleszthetővé, mivel hibás értelmezések téves következtetésekhez és szükségtelen kísérletekhez vezethetnek.
A benchmark felépítése és tartalma
- A készlet 100 feladatot tartalmaz öt rutinszerű területen: fehérje‑módszerek, képalkotás és citometria, mennyiségi vizsgálatok és asszayok, nukleinsav‑módszerek, valamint molekuláris klónozás.
- A feladatok egyszerű leolvasástól (például DNS‑mintára vonatkozó tömegszám leolvasása egy agaróz gélről) a részletes asszay‑elemzésekig terjednek, de mindennapi, megbízhatóan elvégezhető laborfeladatok.
- A bemenetek megtartják azokat a bizonyítékformákat, amelyekkel a tudósok dolgoznak: agaróz‑ és SDS‑PAGE gélek, Western blotok, tenyésztőlapos fényképek, mikroszkópos z‑stackek és time‑lapse videók, nyers leolvasatok (plate‑reader export, kromatogramok), nyers hosszú‑olvasású FASTQ‑fájlok, FCS flow‑citometria fájlok, fotók laborfelszerelésekről és kézzel írt jegyzetekről.
- Kiegészítő referenciaanyagok (például létrafüggvények, plazmid‑térképek, pH‑diagramok) segítik az értelmezést.
Feladatkészítés és lektorálás
A feladatokat laboratóriumi adatokból készítették: minden kérdéshez szakértői értékelési kritérium (rubrika) tartozik. Minden feladat átesett belső lektoráláson egy olyan Ligo‑tudós által, aki nem az adott feladat szerzője volt, külső felülvizsgálaton PhD‑fokozatú, nedves laborban dolgozó tudós részéről, és egy végső belső átnézésen. A lektorok ellenőrizték a promptot, a bizonyítékokat, a rubrikát, a szerzői megjegyzéseket és egy modellek által kitöltött tesztesetet.
Pontozás és válaszformátum
Az ügynökök strukturált válaszokat adnak (következtetés, mérés vagy ajánlás, szükség esetén indoklás). A pontozás a rubrikában szereplő külön kritériumok szerint adja a krediteket, így megkülönböztethető a helyes következtetés a részben helyes elemzéstől. A feladatok többsége egyszerre több készséget vizsgál: biológiai ismereteket, képek és adatok értelmezését, hibafelismerést és protokollmegértést.
Kiértékelés: modellek, beállítások és eredmények
- Hét modellt értékeltek: GPT‑5.2, GPT‑5.4, GPT‑5.5, GPT‑5.6 Sol, GPT‑6.1 Sol, GPT‑6 Luna és GPT‑6 Astra.
- Az értékelés 37 modell‑ és gondolkodóerő‑beállítást fedett le; minden beállításon mind az 100 feladatra öt kísérletet futtattak, összesen 18 500 eredményt kapva.
- Az eredményeknél a közölt mutató a mean reward: az átlagos feladatpontszám, a rendelkezésre álló kredit százalékában. A hibasávok 95%-os konfidencia‑intervallumokat mutatnak, amelyeket egész feladatok újramintavételezésével számoltak.
A legmagasabb ('xhigh') gondolkodóerő‑beállításon GPT‑6 Astra átlagosan a rendelkezésre álló kredit 66,7%-át érte el, míg GPT‑5.6 Sol 43,8%-ot. Ezek az eredmények haladást jeleznek a rutinszerű laboranalízisben, de továbbra is van fejlődési terület a képek értelmezésében, a kontrollok ellenőrzésében és a kísérleti kontextus alkalmazásában.
Milyen típusú adatok szerepelnek a feladatokban?
A feladatok között előfordulnak például:
- Agaróz DNS‑gélek, SDS‑PAGE és Western blotok
- Fotók tenyésztőlapokról, kolonizációs leolvasások
- Nyers mikroszkópos fényképek, fluoreszcens csatorna‑készletek, z‑stackek, time‑lapse videók
- Plate‑reader exportok, kromatogramok, standard görbék
- Nyers FASTQ és FASTA fájlok, GenBank‑térképek
- Laborprotokollok, SOP‑ok, kézzel írt jegyzetek és futtatási naplók
- Eszközök képernyőmentései: NanoDrop, plate reader, pl.
A kategóriák átfedik egymást; egy feladat többféle adatkört is tartalmazhat.
Miben javultak és miben hibáznak a modellek? Konkrét példák
A GPT‑6 Astra jobb multimodális képességeket mutatott, különösen fotók, videók és nyers instrumentális kimenetek értelmezésében. Néhány szemléletes megfigyelés:
- Kontrasztképesség és jelzavar: egy feladatban a GPT‑5.6 Sol halott sejtként azonosította a festék jelét, miközben a detektor egy másik festék fényét is felvehette; Astra felismerte a jelzavar lehetőségét és jobb kontrollokat kért.
- Kontrollfelismerés: egy DNS‑klónozási feladaton a GPT‑5.6 Sol a negatív kontrollon láthatatlan kolóniákra alapozta a következtetését, míg GPT‑6 Astra észrevette, hogy a lemez rosszul volt megcímkézve (más antibiotikum szerepelt a címkén), és ezért elutasította a kontrollt mint megbízható összehasonlítást.
- Kísérleti kontextus megtartása: egy mikroszkópos z‑stacket bemutató feladatban GPT‑5.6 Sol biológiai magyarázatot keresett a sejtek „eltűnésére”, míg Astra felismerte, hogy a felvételsor mélységben szkennel (z‑stack), és ennek megfelelően értelmezte a képsorozatot.
Ugyanakkor Astra is követ el hibákat és torzításokat:
- Feltételezések felülírhatják az adatokat: egy kolónia‑PCR példában Astra helyesen csoportosította a sávokat, de tévesen rendelt hozzájuk kísérleti identitást (a referenciához képest fordítva értelmezte a mintákat), és így rossz kolóniákat jelölt ki további tisztításra.
- Ellentmondó megfigyelések figyelmen kívül hagyása: Astra észrevett, hogy a vaku és a fókusz változtatása miatt egyes vakuólumok sötétebbek, mások világosabbak, ám a végső következtetésben a ellentmondó világosabb példákat elhanyagolta.
- Számlálási pontatlanságok: Astra jelölései nem mindig feleltek meg egyedi kolóniáknak; előfordult, hogy szomszédos kolóniákat összemosott, látható kolóniákat kihagyott vagy üres agarfelületet jelölt meg, ami ezen az értékelési lemezen hozzávetőleg 12%-os túlszámláláshoz vezetett a referenciaértékhez képest. Ez a hiba közvetlenül torzítaná a sikeres transzformáció vagy transzferek hatékonyságára vonatkozó becsléseket.
Mit jelent ez a gyakorlatban?
Magasabb pontszámok nem jelentik azt, hogy a modellek már megbízható döntéshozók a laborban. A BioBasicsBench eredményei azonban megmutatják, hogy a modellek fejlődnek a multimodális adatfeldolgozásban és a kísérleti bizonyítékok finomabb értelmezésében — ugyanakkor még vannak jelentős korlátok: kontrollok ellenőrzése, ellentmondó megfigyelések beépítése és a feltételezések elkerülése terén.
A teszt célja, hogy a hétköznapi laboratóriumi munkát tegyék fejlesztés tárgyává: ha az AI‑ügynökök megbízhatóbban tudnának nyers kísérleti adatokat értelmezni, az csökkenthetné a kutatók idejét a hibakeresésre fordított órákból, és több idő maradna a döntésre, melyik kísérletet érdemes folytatni. Ugyanakkor az ilyen képességek nyomon követése fontos a biosafety‑ és biosecurity‑kockázatok megértéséhez is.
