A C5R Corp által készített SciUniverse egy olyan tesztrendszer, amely azt vizsgálja, milyen jól tudnak mesterséges intelligencia rendszerek egy részben automatizált laboratóriumban tudományos feladatokat végezni. A projekt arra keresi a választ, hogyan teljesítenek az AI-modellek, ha automatizált berendezésekhez, mint például molekulatermeléshez, röntgenmérésekhez vagy gyógyszerprésekhez kell hozzáférniük.
Mit tartalmaz a SciUniverse?
A benchmark 92 különböző feladatot foglal magában, melyek 17 feladatcsaládba rendezve fedik le a laboratóriumi munkafolyamatok széles spektrumát. A feladatok lefedik:
- alapvető mintafelkészítést,
- műszervezérlést,
- protokollok adaptálását,
- kísérletek közötti tanulást,
- létesítménykezelést,
- és a valós mérések értelmezését.
A témakörök között szerepelnek a kémia (például NMR-spektrum alapján szerkezetek hozzárendelése), a biológia (például sfGFP kifejezése sejten kívüli, cell-free rendszerben), és az anyagtudomány (például BaTiO3 pellet sajtolása).
Modellteljesítmények és költségek
A SciUniverse eredményei szerint a legjobb teljesítményt a Claude Fable 5.1 (xhigh) érte el 45,3%-os passzrással és feladatonként átlagosan 40,61 dolláros költséggel. Második helyen a GPT-5 Astra (xhigh) végzett 32,5%-kal és 52,37 dolláros költséggel, míg a harmadik a Claude Opus 5 (xhigh) 30,5%-os passzrással és 46,31 dolláros költséggel.
Ezek a számok egyszerre mutatják a fejlődést és a korlátokat: a vezető modellek sok feladatban sikerrel járnak, de a teljesítmény messze van az általános, hibamentes automatizált tudományos munkavégzéstől, és a költségek is figyelemre méltóak.
Miért fontos ez?
A SciUniversehez hasonló kutatások segítenek felmérni, hogy a fejlődő AI-képességek mennyire vihetők át a valós laboratóriumi környezetbe. Ahogy 2026-ban több figyelmeztető példa is megmutatta az AI rendszerek kutatás-fejlesztési (R&D) feladatokban megjelenő képességeit, úgy a jelen eredmények is „figyelmeztető lövések” lehetnek arra vonatkozóan, milyen gyorsan válnak ezek a rendszerek terepi tudományos asszisztensekké.
A benchmark azért is értékes, mert részletesen bontja a laboratóriumi munkafolyamatokat és kvantitatív összehasonlítást tesz lehetővé különböző modellek között, ami hasznos lehet mind a kutatók, mind az infrastruktúra-fejlesztők számára.
Következtetés
A SciUniverse eredményei azt mutatják, hogy a korszerű AI-modellek már képesek számos, automatizált vagy részben automatizált laboratóriumi feladat elvégzésére, ugyanakkor a teljes automatizálás még jelentős további fejlesztést és költség-érték elemzést igényel. A benchmark további finomítása és a modellek fejlesztése segíthet abban, hogy a jövőben megbízhatóbb, hatékonyabb automatizált tudományos rendszerek jöjjenek létre.
