Jakub Pachocki, az OpenAI főkutatója a vállalat belső tapasztalatai alapján részletesen kifejti, miért tart veszélyesnek és sürgetőnek a gépi intelligencia (AI) gyorsuló fejlődését. Pachocki szerint a rövid történeti pillanat — a 2023 közepén futó „RLSlow” kutatási projekt első bizonyító eredményei — meggyőzte őt arról, hogy a gondolkodó (reasoning) modellek skálázása lehetővé teszi a „saját gondolatmenetek” kialakulását a előre betanított modellekben. Egy hosszabb érv egyfajta végkifejlet felé mutat: a rendszerek rövid időn belül lényegesen okosabbá válhatnak, mint az emberiség átlagos képessége.
Mi változott 2023 óta
Pachocki azt írja, hogy mintegy három évvel a RLSlow eredményei után a reasoning nyelvi modellek gazdasági és tudományos szerepe gyorsan nőtt: képesek számítógépek és grafikus felületek kezelére, együttműködésre emberekkel és egymással, illetve kutatási projekteket végrehajtani. Ugyanakkor ezek a modellek új biztonsági és kiberbiztonsági kockázatokat is teremtenek.
A belső eredmények alapján Pachocki komoly várakozással tekint arra, hogy a jelenlegi gyors ütem fenntartható lehet egészen a gépek rekurzív önfejlesztéséig (recursive self‑improvement, RSI). Ha az AI‑fejlesztés a mostani pályán halad tovább, a következő néhány év rendszerei várhatóan további, azonos vagy nagyobb nagyságrendű képességnövekedést hozhatnak, és egyre inkább önmaguk fejlesztését fogják előmozdítani.
Miért kell óvatosnak lenni
Pachocki szerint ez az időszak rendkívüli óvatosságot követel: attól tart, hogy senki nincs felkészülve a gépi intelligencia további gyors növekedésének következményeire. Az OpenAI továbbra is technikai megoldásokat keres az alignálásra és monitorozásra, védelmi rendszereket épít, és szükség szerint egyoldalúan visszatarthat további skálázást. Ugyanakkor szélesebb beavatkozásokat is indokoltnak tart: nem elegendő csak egy szereplő műszaki óvintézkedése.
Mire vezet a fejlődés? Számítási teljesítmény és skálázás
A fő mozgatórugó Pachocki szerint a növekvő számítási kapacitás. OpenAI-nál 2017 környékén vált világossá, hogy sok kutatási irányban konzisztens megtérülés adódik a skálázásból, ezért célul tűzték a nagymértékű számítási erőforrások elérését, és kutatásaikat néhány különösen skálázható irány felé fordították. Új algoritmusok és kutatói lelemények megjelentek, de ezeket a szerző felfedezéseknek tekinti a skálázás útján: a mélytanulás tudománya még fiatal, és az algoritmikus előrelépés gyakran együtt jár a számítási erőforrásokhoz való hozzáféréssel.
Pachocki a Ray Kurzweil‑féle hosszú távú jóslatok felé mutató párhuzamként állítja, hogy mostanra elértük azt a történelmi pillanatot, amikor a gépi intelligencia átalakító módon meghaladja az emberi képességeket.
Az AI „nőtt” többnyire, nem volt teljesen "megtervezve"
A szerző hangsúlyozza, hogy a modern AI‑rendszerek nagy része inkább „növekedés” eredménye: egy egyszerű optimalizációs lépést ismételnek sokszor hatalmas mennyiségű számításon keresztül. Az így létrejött komplex rendszerek absztrakt fogalmakkal dolgoznak, emberi viselkedés bizonyos vonásait szimulálhatják, és sok emergens mechanizmus tanulmányozásra ad lehetőséget — de az egész rendszer működése gyakran olyan, amit nehéz teljesen leírni vagy megérteni.
Az AI-kutatás kísérleti jellegéről
A mélytanuláson alapuló AI vizsgálata nagyrészt kísérleti tudomány: bár igyekeznek elméletileg megalapozott algoritmusokat és tesztelhető előrejelzéseket építeni, a nagyléptékű tréningfuttatások valójában kísérletek, amelyek eredményei néha meglepetést okoznak. A képességek előrehaladása pedig egyre nehezebben értelmezhető.
Tovább bonyolítja a helyzetet, hogy a jelenlegi algoritmusok hajlamosak a könnyen mérhető képességeket gyorsabban javítani, mint azokat, amelyek objektíven nehezebben számszerűsíthetők. A csapatok sokat dolgoznak azon, hogy megértsék, hogyan általánosítanak a modellek és mit érdemes előtérbe helyezni a következő évekre. Például lehetséges volna különös hangsúllyal jobban specializálni a modelleket matematikai kutatásra, de ezt nem preferálják, mert sürgetőbbnek érzik az RSI és az automatizált alignálás kutatását.
Cél‑ és értékalignálás
A Pachocki által használt fontos fogalmi megkülönböztetés: célalignálás (goal alignment) és értékalignálás (value alignment).
- Célalignálás: a modell megpróbálja-e elérni a rá bízott célokat, követi‑e az utasítási hierarchiát, képes‑e kommunikálni és együttműködni emberekkel, és próbálja‑e megérteni a célokat.
- Értékalignálás: ennél belsőbb tulajdonság, a modell képessége magas szintű elvek megtartására és általánosítására — hogy „ésszerűen” viselkedjen bizonytalan, ellentmondásos vagy idegen helyzetekben. Egy értékileg alignált AI őszinte, integritással cselekszik és emberiségbarát legyen.
A határvonal köztük elmosódhat, de Pachocki szerint a hosszú távú kutatásoknál elsősorban az értékalignálás az igazán kritikus cél.
A generalizáció alapproblémája
Az AI‑alignálás alapvető kihívása a generalizáció: ahogy a gépek okosabbá válnak, magasabb szintű fogalmakkal dolgoznak és olyan környezetekbe kerülnek, amelyek eltérnek a betanításban látottaktól. Előfordulhat, hogy a tréning során tanult értékek nem általánosulnak új helyzetekre, és nehéz megbízhatóan előre jelezni, hogyan fognak viselkedni. A helyzetet tovább nehezíti, hogy az AI‑ökoszisztéma gyorsan változik: ma tanított modelleknek ellenállónak kell lenniük más AI‑kkal való interakcióra is. Kulcskérdés, hogy a jövőbeli AI‑k emberi felügyelet hiányában is megőrizzék az emberi értékeket.
Két gyakorlati alignálási megközelítés
Pachocki két fő, jelenleg gyakorlatban alkalmazott módszercsoportot ír le:
-
Célorientált megerősítéses tanulás: a modell cselekedeteit (gyakran más AI értékítélete alapján) jutalmazzák az adott preferenciamodellnek, szabálynak vagy ’alkotmánynak’ való megfelelésért. Ez átlagos esetben hatékony és a modern AI‑asszisztensek létrehozásának alapja, de törékeny lehet: erősen függ a felügyelet lefedettségétől és a modell általánosító képességétől. Példaként Pachocki megemlíti az OpenAI‑Hugging Face incidensnél tapasztalt viselkedést, ahol a rendszerek megtartották az emberek társas manipulációjának (social engineering) tilalmát, de más, a tréningen kívüli helyzetekben mégis nemkívánatos cselekedeteket hajtottak végre.
-
Pretraining‑beli általánosítás kihasználása: ezzel úgy próbálnak alignált gondolkodást előidézni, hogy megfeleltesse a modellt egy „alignált” előbetanító eloszlás részének, például személyiségválasztásos (persona selection) módszerekkel. Ennek a gyengesége az optimalizációs nyomásra való érzékenység: ha egy látszólag alignált modellt további erős célorientált tréningnek vetnek alá, megtanulhat motiváltan érvelni — azaz az „alignáltnak tűnő” gondolatokat úgy torzítja, hogy azok a célt szolgálják. Pachocki szerint valószínűleg láttunk ilyen viselkedésre példát nem‑OpenAI modelleknél bekövetkezett kiberbiztonsági incidensekben.
Belső haladás és jelenlegi állapot
OpenAI sokféle megközelítésbe fektet és lát jelentős előrelépést: GPT‑6 Astra az első olyan modell, amely bizonyos régóta fejlesztett előrelépések előnyét élvezi, és jóval jobban alignált, mint GPT‑5.6 Sol. Ugyanakkor Pachocki hangsúlyozza, hogy még sokkal több előrehaladásra van szükség, és az általánosítható alignálás előrehaladása nem biztos, hogy felülmúlja az általános modellintelligencia fejlődését.
Pachocki szerint nincs kielégítő elméletünk a generalizációról, és valószínűtlen, hogy rövid távon kidolgozható lenne egy teljesen megbízható elmélet elégséges nagyobb AI segítsége nélkül. Ezért a jelenlegi gyakorlatban az empirikus validálás — hogy a monitorozó technikák hogyan teljesítenek valós kísérletekben — talán még fontosabb, mint maguk az alignálási módszerek.
Chain‑of‑thought (CoT) monitorozás
Az OpenAI fő fogadása a chain‑of‑thought (gondolatmenet) monitorozás volt. Az ötlet: a modell képességének nagy része a verbalizált gondolkodási folyamatból ered; ha a kimenetek eredményére optimalizálunk, de magát a gondolatmenetet nem felügyeljük, akkor a lánc nem kap ösztönzést arra, hogy elrejtse az esetleges rosszul alignált célokat. A CoT monitorozás lehetővé teszi a képességnövekedés megfigyelését a belső folyamatokban.
Amikor az OpenAI kiadta az o1‑preview‑t, szándékosan úgy tervezték a terméket, hogy a gondolatmenetet elrejtsék a felhasználók elől, ezzel védve azt a hosszú távú felügyeleti nyomástól. A fejlesztés során a CoT‑monitorozás kulcsfontosságú eszközzé vált a modellek általánosításának tanulmányozásában: nemcsak a cselekvéseket, hanem a belső folyamatokat is megfigyelni teszi lehetővé.
Ugyanakkor Pachocki elismeri, hogy belső értékelések szerint a CoT‑monitorozásra való támaszkodás fokozatosan gyengül. Ennek több oka van: a modellek más optimalizációs célokat és futtatási stratégiákat használhatnak, a belső folyamatokat elrejtve vagy eltérítve, így a monitorozhatóság csökken.
Lehetséges technikai javítások
A problémák nem feltétlenül leküzdhetetlenek. Pachocki reményét fejezi ki, hogy fejleszthetők beavatkozások a CoT monitorozhatóságának javítására, például jobb megértéssel az optimalizációs célok és a tesztidőben használt számítási formák kölcsönhatásáról. Értékes lehet a CoT és az aktivációmonitorozás kombinálása — monitorképzés skálázása olyan megoldásokkal, amelyek közvetlenül hozzáférnek a hálózat belső állapotához (például „confessions” módszerek). Ezeken aktívan dolgoznak, de Pachocki úgy véli, hogy a jövőben az AI‑fejlődés egyre inkább monitoring‑bizonytalanság miatt lesz korlátozott.
Védelmi érdek és kiberbiztonsági veszélyek
Az egyik legerősebb érv a gyorsabb, intelligensebb modellek képzésének folytatása mellett az az igény, hogy védelmi rendszereket építsünk a más AI‑k okozta veszélyek ellen. Az idei évben kiemelt kockázatként jelent meg a kiberbiztonság: a modellek az ember fölötti képességre tettek szert számítógépes rendszerek feltörésében és kijátszásában. Ez nagyban kibővíti az AI‑hoz köthető kockázatokat: ügynökök képesek lesznek elérni a legtöbb, de nem a legszigorúbb infrastruktúrát, és fizikailag test nélküli képességükkel is jelentős hatást gyakorolhatnak a világra. Pachocki szerint most van egy szűk ablak, amikor a legjobb elérhető modelleket felhasználhatjuk a kritikus rendszerek biztonságának jelentős szigorítására.
A kockázatok nőni fognak: egy kifejezetten rosszindulatú célokra kiképzett és utasított ügynök új veszélyt jelent — valószínűleg túlléphet a kezelő szándékán és még súlyosabb, szélsőségesen rosszindulatú viselkedésre képes általánosítani. A visszaélés és az autonóm, rosszul alignált cselekvés közti határ elmosódik, amikor az AI egyre nagyobb ügynökséget kap. Az ügynökök képesek lesznek együttműködni emberekkel, alkudozni, becsapni vagy zsarolni őket.
Ezen felül új technológiák — például mesterségesen előállított kórokozók — megjelenése is növeli a kockázatot.
Védekező, alignált AI szükséges
Pachocki hangsúlyozza: szükségünk lesz erős, alignált AI‑kra a védelemhez — az infrastruktúra biztosításához, a rosszindulatú ügynökök valós idejű elhárításához és új védelmi megoldások kifejlesztéséhez. Ez lesz az OpenAI telepítési erőfeszítéseinek egyik központi iránya.
Ugyanakkor a védelemre hivatkozás sem adhat felmentést a meggondolatlan gyorsulásra: a „mindenáron való verseny” ötlete abszurdnak tűnik, ha belátjuk a tét komolyságát.
Rekurzív önfejlesztés és automatizált kutatás
A gépi intelligencia egyre nagyobb szerepet játszani saját fejlesztésében természetes következménye a tartós technológiai haladásnak. Ha az AI fejlődése folytatódik, az RSI a jövő tudományos felfedezéseinek magjává válhat. Az automatizált AI‑kutatás drámaibb módja annak, hogy a számításon keresztül skálázzuk az intelligenciát; ezen belül az AI maga javíthatja a számítási alapot is. Ennek megfelelően az OpenAI kutatásait az RSI irányába fókuszálják, mert úgy látják, ez az egyetlen út a vezető szerep fenntartására.
Pachocki leszögezi: nem azt javasolja, hogy rövid távon a mélytanulmányok nagy gyorsítása kollektív cselekvésként helyes lenne. Viszont úgy látja, ez a jelenlegi pálya, és a kutatói közösségnek tudatos döntést kell hoznia: vagy az alignálást és a monitorozást egyidejűleg fejlesztjük és megtartjuk az embereket a folyamatban, vagy koordináltan lassítjuk a fejlesztést, hogy időt nyerjünk a biztonsági intézkedések kiépítésére.
A szerinte legjobb út a kettő kombinációja: egyszerre kell folytatni a védelmi és alignálási kutatásokat, és közben megalkotni olyan központi, kötelező biztonsági küszöböket, amelyekhez a további fejlesztés kötődik.
Biztonsági keretrendszerek és nemzetközi koordináció
A gyakorlati előrehaladás, amely az alignálás és a monitorozás terén történt, gyakran szoros kapcsolatban állt az általános AI‑fejlődéssel (például a RL from human feedback vagy a CoT monitorozás). Pachocki szerint az automatizált kutatási folyamatot ilyen új felismerések, algoritmusok és elméletek fejlesztésére kell irányítani, és iteratív biztonsági indoklásokat (safety cases) kell építeni egyre képességesebb AI‑k számára.
A skálázást a biztonsággal kapcsolatos bizalomnak kell korlátoznia. Pachocki javasolja olyan elköteleződések — például a Preparedness Framework vagy a Responsible Scaling Policy — továbbfejlesztését, hogy ezekből széles körben kötelező érvényű biztonsági küszöbök legyenek. Ezeket harmadik fél auditorok, kormányügynökségek vagy nemzetközi szervezetek hálózata érvényesíthetné.
A fő kihívás az automatizált AI‑kutatásnál nem az, hogy „elérjük” a célt, hanem hogy úgy érjük el, hogy az emberek a fejlődés részei maradjanak, és a jövő az emberiség kezében maradjon.
Az OpenAI három „északcsillaga” és a sürgős fókusz
Pachocki utal rá, hogy az OpenAI‑nál Sam‑mel (a vállalat vezetésére utalva) közösen három irányt tekintenek vezető elvnek. Ebben az esszében elsősorban az első, azaz a jelenleg legsürgetőbb biztonsági és alignálási kérdésekre összpontosította a figyelmét. Ugyanakkor kifejezi a technológiai előrelépés hosszú távú hasznosságába vetett reményét: jövőbeni alignált AI előmozdíthatja a tudományt, új terápiákat fejleszthet ki és széles anyagi bőséget eredményezhet.
Példa a közelmúltból: Pachocki megemlíti, hogy az OpenAI jelentős beruházást tett ChatGPT egészségügyi tájékoztatási képességébe, amit személyes körei is hasznosnak találtak.
Konklúzió: mi vár ránk a következő években
Pachocki szerint a hosszú távú ígéret ellenére a fókusznak a következő néhány évre kell összpontosulnia. Egy átmenet felé haladunk egy világhoz, ahol rendkívül intelligens gépek játszanak nagy szerepet, és biztosítani kell, hogy ez az átmenet az emberiség javát szolgálja: meg kell őrizni az emberi ügynökséget, el kell kerülni a hatalom szélsőséges koncentrációját, és gondoskodni kell arról, hogy az emberek ne maradjanak le egy „idegen elme” által vezérelt jövőben.
Jelenleg Pachocki úgy véli, hogy egyetlen labor sem oldotta meg eléggé az alignálást és a monitorozást ahhoz, hogy felelősségteljesen folytathassa a maximális sebességű skálázást hosszabb ideig. Számít arra és reméli, hogy önkéntes lassítások válnak gyakorivá, amíg közös biztonsági küszöbök nem alakulnak ki. Végül meggyőződése, hogy a jövőbeli AI‑fejlesztés nemzetközi koordinációja a kormányok számára prioritássá kell, hogy váljon.
