Kutatás

Mesterséges intelligenciával generált szöveg

A METR szerint az AI fejlődik, de az ítélőképességet igénylő feladatokban még elmarad az emberektől

A mesterséges intelligenciát értékelő nonprofit METR frissítette a modellek feladatmegoldási időtávját bemutató vizsgálatát.

A METR szerint az AI fejlődik, de az ítélőképességet igénylő feladatokban még elmarad az emberektől

Az AI-rendszerek képességei egyes területeken továbbra is exponenciális ütemben fejlődnek, de az ítélőképességet igénylő, nyitott végű feladatokban még elmaradnak az emberektől – állapítja meg a mesterséges intelligencia értékelésével foglalkozó nonprofit METR friss jelentése. A különbség különösen fontos lehet az AI-kutatás és -fejlesztés automatizálása szempontjából.

A jelentés a szervezet úgynevezett időhorizont-ábráját frissíti. Az eredeti mérésben emberek és modellek ugyanazokat a feladatokat oldották meg, a nehézséget pedig azzal jellemezték, mennyi időre volt szükségük az emberi tesztelőknek. A modelleket aszerint értékelték, milyen hosszúságú feladatokat tudtak sikeresen elvégezni. Az ábra szerint a legfejlettebb rendszerek által teljesíthető feladatok időtartama négyhavonta megduplázódott. Az eredményeket ugyanakkor a mérőszámok összetettsége miatt gyakran félreértelmezték.

Nehezebben mérhető készségek

A frissített értékelés hosszabbnak becsült és nyitottabb feladatokkal bővíti a korábbi tesztcsomagot. A központi kérdés az, hogy az automatikusan ellenőrizhető feladatokban elért fejlődés átültethető-e olyan munkákra is, amelyeknél a siker nehezebben állapítható meg.

A programozásban és a matematikában sokszor automatikusan ellenőrizhető egy megoldás helyessége. Ez lehetővé teszi a megerősítéses tanulás alkalmazását: a rendszer sokszor próbálkozik, és a képzés a sikerhez vezető viselkedést erősíti. Sokkal nehezebb ugyanezt alkalmazni például egy új kutatási irány kiválasztására, ahol az eredmény értéke nem egyértelmű, vagy csak később derül ki. Az ilyen feladatok értékelése is nehezebb, ezért az eredeti időhorizont-ábrából kimaradtak, pedig az AI-kutatás és -fejlesztés automatizálásához fontosak lehetnek.

A téma iránti érdeklődést fokozta a METR egy másik, a hónap elején megjelent, nagyrészt kitakart jelentése. Ez azt állította, hogy a mesterséges intelligencia akár kétszeresére is gyorsíthatja az AI fejlődésének ütemét az Anthropic vállalatnál. A jelentés nyomán felmerült a teljes rekurzív önfejlesztés lehetősége is, amikor AI-rendszerek emberi közreműködés nélkül tervezik meg utódaikat.

Javulás, de még nem használható eredmények

Az új tesztcsomag egyik feladatában a modelleknek olyan AI-értékeléseket kellett tervezniük, amelyeket a METR felhasználhatna a kutatásaiban; az eredményeket a szervezet munkatársai pontozták. Bár a legfejlettebb modellek a szoftverfejlesztésben már szinte minden embernél jobbak, ebben a feladatban elmaradtak tőlük: egyetlen AI által tervezett értékelést sem találtak kutatási célra használhatónak.

Egy másik feladatban filozófiai érveket kellett értékelniük a modelleknek, az ítélőképesség vizsgálata érdekében. Itt is az emberi teljesítmény alatt maradtak, bár a METR munkatársai nem értenek egyet abban, mennyire releváns ez a teszt az AI-kutatás és -fejlesztés automatizálása szempontjából.

A legújabb modellek ugyanakkor fejlődést mutatnak. Az Opus 5.5 például az értékelések tervezésében gyakran a METR által „határesetként a küszöb felettinek” nevezett szintet éri el: az eredmény még nem használható a szervezet kutatásában, de ígéretes. Egy évvel korábban minden modell az „egyértelműen a küszöb alatt” kategóriába került.

Vita a fejlődés értelmezéséről

Sayash Kapoor számítógép-tudós, a University of California, Berkeley leendő professzora üdvözölte, hogy a METR új típusú értékelésekkel kísérletezik. Szerinte nem meglepő a modellek gyengébb teljesítménye a nyitott feladatokban: egy augusztusi preprintben munkatársaival arra jutottak, hogy az AI-modellek önállóan még nem képesek reprodukálni az emberi számítógép-tudományi kutatást. Az OpenAI egy szerdai blogbejegyzésben szintén arról számolt be, hogy modelljei rosszabbul teljesítenek a munkatársai által adott valós feladatokon, mint a METR eredeti csomagjának könnyebben ellenőrizhető feladatain.

Kapoor szerint továbbra is vita tárgya, mit jelent a kétféle feladat közötti különbség. Ő úgy véli, a kutatói ítélőképesség – az ígéretes kérdések, hipotézisek és kísérletek kiválasztása – az automatizálás egyik fő akadálya lesz. Mások szerint az ellenőrizhető feladatokon képzett modellek idővel a nyitott végű munkákban is sikeresek lehetnek. Az ellenőrizhető feladatokban pedig egyelőre nem látszik a fejlődés lassulása.

Najoung Kim, a Boston University nyelvésze és számítógép-tudósa szerint a most megfigyelt javulás mond valamit a jelenlegi helyzetről, de egyelőre nem világos, miként lehetne abból a jövőre következtetni. Matt Putz, a METR műszaki munkatársa szerint az ilyen, nehezen ellenőrizhető vagy ítélőképességet igénylő feladatok természetüknél fogva nehezebben vizsgálhatók és számszerűsíthetők, így valószínűleg nem lehet majd olyan tiszta és robusztus trendeket megállapítani, mint az egyszerűen meghatározható feladatoknál.

A mérések korlátai

A gyakorlati korlátok a frissített ábrát is érintik. Míg az eredeti mérésben emberek ténylegesen megoldották a feladatokat az időszükséglet meghatározásához, az új jelentésben az időtartamok többsége becslés. A több száz órás vagy csak kevés szakértő által elvégezhető feladatok emberi tesztelése ugyanis túl költséges és időigényes lenne.

Más teszteknél az értékelés módja jelent korlátot. A filozófiai érvek többségét például egyetlen ember pontozta, a modelleket pedig aszerint értékelték, mennyire egyeznek az ő véleményével. Több szakértő bevonása megváltoztathatná az eredményeket, de ez is időigényes.

A nyitott, nehezen ellenőrizhető feladatok bevonását a megszólaló szakértők előrelépésnek tartják. A kevés ilyen teszt és a pontozás bizonytalanságai miatt azonban továbbra sem vonható le végleges következtetés arról, hogy megvalósulhat-e az automatizált AI-kutatás és -fejlesztés, és ha igen, milyen gyorsan.