P‑Zero Research bemutatta a TasteVal nevű benchmarkot, amely azt vizsgálja, mennyire képesek a mesterséges intelligencia rendszerek „kutatói ízlést” mutatni — azaz érdekes problémák kiválasztására, kísérlettervezésre és a kísérleti eredmények értelmezésére. A TasteVal nyolc, a határterületi AI‑fejlesztést reprezentáló feladatot tartalmaz, többek között a pretraining adatok kiválogatását, nyelvi modellek előképzését és finomhangolását, preferenciamodellezést és robusztusságot ellenséges promptokkal szemben.
A benchmark célja, hogy a „kutatói ízlést” azonosítható, kísérleti komponensre bontsa: adott kutatási probléma mellett azt méri, mennyire hatékonyan tervez meg egy modell iteratív kísérleteket és von le következtetéseket a kimenetekből. A modellek által javasolt kísérletek és az ezekből levont interpretációk emberi szakértők által támasztott alapvonalhoz hasonlítják. Ez az emberi alapvonal 24 szakértőből áll, legalább ketten feladatonként; a szakértők között olyan szervezeteknél dolgozók szerepelnek, mint az OpenAI, Google DeepMind, NVIDIA és Microsoft Research.
Eredmények: gyors növekedés és Opus 5.5
A TasteVal szerint a frontier modellek kísérleti kutatói ízlése 2025 decembere óta durván minden 3,0 hónapban megduplázódott (95% megbízhatósági intervallum 1,7–5,0 hónap). A legjobb vizsgált modell, Opus 5.5, statisztikailag jelentősen meghaladja a 24 szakértőből álló emberi alapvonalat. A publikált teljesítménymutató szerint Opus 5.5 compute multiplikátora 2,30× (95% CI 1,15–4,37×) az emberi alapvonalhoz képest, miközben körülbelül 1/30‑adára csökkenti az egy kísérleti próbálkozásra jutó átlagos költséget az expert bázisban.
A tanulmány megjegyzi, hogy a kutatói ízlés növekedése korábban jóval lassabb volt; az emelkedés meredeksége 2025 vége és 2026 eleje körül változott meg jelentősen.
Miért számít ez: a kreativitás, RSI és idővonalak
A TasteVal eredményeit értelmezve P‑Zero Research és a cikk szerzője összekapcsolja a „kutatói ízlés” gyors javulását a mesterséges intelligenciák önfejlesztődési képességének (recursive self‑improvement, RSI) valószínűségével. Korábbi elemzésekben a kreativitást fontos meghatározónak nevezték arra nézve, hogy az AI‑k milyen gyorsan képesek lehetnek önmaguk fejlesztésére; korábban azt írták, hogy a rendszerek még nem mutatták meg transzformatív módon ezt a kreativitást. A TasteVal és más, a matematika gyorsítására utaló eredmények alapján a szerző most úgy látja, hogy a teljes RSI lehetősége valószínűbbé vált 2027‑re, miközben korábban 2028 volt a valószínűbb év.
Következtetések és további olvasmány
A TasteVal bemutatása arra utal, hogy a határterületi modellek egyre jobbak abban, hogy kutatási kérdéseket találjanak, kísérleteket tervezzenek és következtetéseket vonjanak le — mindez csökkentett költségek mellett. Az ilyen képességek gyors ütemű javulása miatt a kutatók és a politikaalkotók számára fontos lehet ennek a fejlődésnek a nyomon követése, különösen az olyan kockázatok és lehetőségek fényében, amelyek az RSI‑hez kapcsolódnak.
További részletek és a TasteVal módszertana a P‑Zero Research által közölt anyagban találhatók.
