Biztonság

Mesterséges intelligenciával generált szöveg

Közös mesterségesintelligencia-biztonsági mércét javasol az OpenAI vezető kutatója

Jakub Pachocki, az OpenAI vezető kutatója a perplexitás alkalmazását javasolja a mesterséges intelligencia fejlődésének és biztonsági korlátainak közös mérésére.

Közös mesterségesintelligencia-biztonsági mércét javasol az OpenAI vezető kutatója

Jakub Pachocki, az OpenAI vezető kutatója azt javasolja, hogy a mesterséges intelligenciát fejlesztő vállalatok egy közös mérőszámra, a perplexitásra is támaszkodva alakítsanak ki biztonsági szabványokat és fejlesztési korlátokat. Ennek első lépéseként az OpenAI nyilvánosságra hozta néhány belső előtanítási mérését. Pachocki szerint ez ugyan segíti a versenytársakat a vállalat helyzetének felmérésében, de az ágazati biztonsági intézkedések sürgőssége fontosabb ennél a kockázatnál.

A kutató értelmezése szerint a modern modellek képességeinek alapját nagyrészt egy egyszerűen leírható, de nehezen értelmezhető folyamat adja: egy rendszert nagy adathalmazon tanítanak meg előre jelezni, illetve tömöríteni az adatokat. Ezt követően olyan módszerekkel, mint az utasításadás, a finomhangolás vagy a megerősítéses tanulás, különféle helyzetekben előhívják a modellben rejlő képességeket. Pachocki szerint az algoritmikus fejlődés elmoshatja a tanítási szakaszok határait, de az általános képességek kialakulása és célzott előhívása továbbra is megkülönböztethető.

Mit mutatnak a mérések?

A perplexitás azt méri, hogy egy modell átlagosan milyen jól jósolja meg a következő tokent: az alacsonyabb érték jobb előrejelzést jelez. Az OpenAI a gyakorlatban többnyire a perplexitás logaritmusát, más néven a keresztentrópia-veszteséget követi. A most közölt, GPT-3.5-től kezdődő számok a vállalat belső kódbázisából származó, rögzített, a tanításból kihagyott értékelő adathalmazra vonatkoznak.

Pachocki több modell fejlődését állítja párhuzamba ezzel a mérőszámmal. A GPT-2 korábbi adathalmazokon új rekordot ért el, és szerinte az elsők között tudott következetesen összefüggő bekezdéseket írni. A GPT-3 néhány példa alapján képes volt egy feladatot kontextusban elsajátítani. A GPT-3.5 a jelenlegi fő értékelő adathalmazon mintegy 0,99-es log-perplexitást ért el, folyékony párbeszédre volt képes, és az eredeti ChatGPT alapját adta.

A GPT-4 körülbelül 0,91-es értéknél eredményesen alkalmazta a lépésenkénti, úgynevezett gondolatmenet-alapú következtetést; ez később hozzájárult a modern következtető modellek létrehozásához. A 0,8 alatti veszteségeknél az OpenAI olyan területeken tapasztalt jelentős új képességeket, mint a kiberbiztonság és a matematika. Pachocki hangsúlyozza: előre nem lehetett tudni, hogy ezek a képességek éppen az adott küszöbértékeknél jelennek meg.

A kutató szerint a régi és új modellek feladatközpontú tesztjeit nehéz összevetni: sok mai tesztnek nem lett volna értelme a GPT-2 vagy a GPT-3 esetében, a korábbi teszteket pedig a GPT-4 környékére nagyrészt telítették a modellek. Az előtanítás mérését ezzel szemben tartósabban informatívnak tartja.

Gyorsulás és javasolt korlátok

Pachocki szerint az MI saját fejlesztéséhez való hozzájárulása különösen az előtanítással kapcsolatos algoritmikus kutatásban hozhat ugrásszerű gyorsulást. A teljesen automatizált, emberi felügyelet nélküli rekurzív önfejlesztést ugyanakkor az emberi kontroll megőrzése érdekében elkerülendőnek tartja.

Az OpenAI több mint egy éve ad megoldatlan matematikai problémákat modelljeinek az értékelés részeként. A kutató beszámolója szerint egy nagyjából 0,76-os log-perplexitású modell áttörő eredményeket kezdett produkálni. Úgy véli, hasonló fordulat a mélytanulás kutatásában is elképzelhető, és akár 2027-ben alapvető előtanítási eredmények sorozata következhet. Arra is számít, hogy az MI segíti majd az igazítás és a megfigyelés fejlődését, de szerinte ez valószínűleg nem lesz elég gyors ahhoz, hogy a potenciális előtanítási gyorsulást teljes mértékben kövesse.

A közelmúltbeli trendekből kiindulva Pachocki további jelentős képességek megjelenését várja a körülbelül 0,68–0,70-es log-perplexitási tartományban, bár nem tudja, melyek lesznek ezek, és lehet, hogy a jelenlegi tesztek nem is vizsgálják őket. Ezzel párhuzamosan az igazítás ellenőrzésének jelenlegi módszerei szerinte tovább romolhatnak, miközben a modellek egyre inkább felismerhetik, hogy értékelik vagy tanítják őket.

Ezért azt javasolja, hogy az élenjáró modellek fejlesztői közös normákat dolgozzanak ki az értékelésre, a biztonsági érvelések támadó szemléletű tesztelésére és az átláthatóságra, még azelőtt, hogy az érintett modelleket először használatba veszik. Emellett perplexitáson és más méréseken alapuló közös fejlesztési határokat szorgalmaz. Ezeket a cégek addig nem lépnék át, amíg a modellek viselkedésének megértése és megfigyelése el nem ér egy konkrét mérföldkövet, például a gondolatmeneteket figyelő rendszerek utódjának kifejlesztését. A cél egy olyan keretrendszer, amely később további határokat és a fejlesztés ütemezését is meghatározhatja.

A mérőszám korlátai

Pachocki elismeri, hogy a perplexitás összehasonlítása nehéz a laboratóriumok között, mert eltérő értékelő és tanító adathalmazokat használnak. Az OpenAI azért közölte belső kódbázisán mért számait, mert jelenleg ezekre támaszkodik leginkább az előtanítási haladás megítélésekor. Ugyanakkor a GPT-2 és a GPT-3 esetében a kód előrejelzése a tanítóadataik miatt rosszul közelíti az általános képességeiket; a régi és új modellek közös, általános szöveges értékelése szerinte továbbra is hasznos lehet.

A perplexitás emellett nem közvetlenül egy gyakorlati feladat teljesítését méri, és nem mutatja ki az előtanításon kívüli minden fejlődést. A gondolatmenet-alapú következtetés például jelentősen növelheti a képességeket anélkül, hogy csökkentené a modell perplexitását. A mérőszám alsó határa sem ismert: a nulla veszteség az adatok teljesen determinisztikus előrejelzését jelentené, amit nem tartanak elérhetőnek. Ahogy a modellek közelítenek az adatok eredendő entrópiájához, a mérhető javulás lassulhat, miközben egyre kisebb javulások is nagyobb képességugrásokkal járhatnak.

A kutató szerint a „tömörítő” ebben az összefüggésben nem olyan kész tömörített állományt jelent, mint egy GZIP-fájl, hanem egy rendszert, amely a korábban nem látott adatok előrejelzésével képes tömörítésre. Ez nem feltétlenül jelenti azt, hogy megjegyzi a tanítóhalmaz tartalmát.

Az OpenAI az ábráján látható, 2026-os meredek gyorsulást elsősorban hosszú távú kutatási és számításikapacitás-befektetéseknek, kisebb részben automatizációnak tulajdonítja. A legújabb modellek tervezéséhez azonban a vállalat szerint az MI már érdemben hozzájárult. Pachocki a korlátok ellenére úgy véli, a perplexitás hasznos közös nyelvet adhat az MI-fejlődés követéséhez, és nagyobb ágazati átláthatóságot sürget.