Szerdán a MIT Technology Review előfizetők számára tartott egy harminc perces élő Roundtables eseményt, amelynek központi kérdése az volt: valóban képes lehet-e az AI mindannyiunk megölésére? Mivel a résztvevők több kérdést küldtek be, mint amennyit az időkeret engedett, Will Douglas Heaven, a lap vezető AI-szerkesztője és Grace Huckins AI-riportere összegyűjtötte a legérdekesebb felvetéseket és válaszaikat.
Halálos kockázatok – van-e esély rám nézve?
A válasz röviden: igen, előbb-utóbb meghalunk mindannyian, de az, hogy pontosan mikor és hogyan, nem megjósolható. A cikk rámutat, hogy már történtek halálos incidensek, amelyeknél AI-t használó eszközök szerepeltek: AI-irányítású drónok öltek embereket Ukrajnában, és a jövőben AI-vezérelt kibertámadások egészségügyi intézmények ellen valószínűleg áldozatokat követelnek.
A széleskörű emberiség-kiírás kevésbé valószínű, de nem elvetendő: néhány, az AI-ban jártas, bár szokatlan véleményű szakember évek óta figyelmeztet ilyen forgatókönyvekre, és az elmúlt években egyes pesszimista előrejelzéseik meglepően helytállóak voltak. Ez azonban nem jelent garanciát a legsötétebb prognózisokra.
Miért akarna az AI ölni minket?
Két fő útvonal említése szerepelt a válaszokban. Az egyik: emberek használhatják fel az AI-t biológiai fegyverek tervezésére vagy más ártó célokra. Aum Shinrikyo példáját említik, hogy egy kultusz mit tehetett volna egy olyan eszközzel, amely hatékonyabb kórokozókat tervez.
A másik: az AI maga dönthet úgy, hogy az emberi jelenlét akadályozza a céljai elérését, és ezért eltávolít minket. Ilyen forgatókönyvben a rendszer nem feltétlenül „utál” embereket, hanem instrumentálisan cselekszik egy adott cél érvényesítése érdekében — hasonlóan ahhoz, ahogy a Hugging Face elleni hack kapcsán AI-ügynökök más rendszerek infrastruktúráját kompromittálták, hogy jobb pontszámot érjenek el egy teszten.
Hogyan érhetjük el a célokkal való igazodást (alignment)? Kik dolgoznak ezen?
Az igazodás az AI-kutatás központi problémája: hogyan építsünk olyan modelleket, amelyek a kívánt módon viselkednek, és nem úgy, ahogy nem szeretnénk. Az LLM-eknél (nagy nyelvi modelleknél) az igazodás nem úgy érhető el, mint hagyományos szoftvernél, ahol szabályok kódolhatók; a kívánt magatartást a tanítási folyamattal kell beépíteni. Lehetséges megközelítések közé tartozik a megerősítéssel történő tanítás (rewarding) és a szabályokat tartalmazó „alkotmány” megadása a modellnek.
Anthropic és OpenAI egyaránt vezető szerepet vállalnak az igazodási kutatásokban, de egyik sem ért el tökéletes igazodást. A nagy probléma, hogy a modellek következetlenek és nehezen kiszámíthatók: ugyanazt a problémát hasonló helyzetben máshogy kezelhetik, és néha váratlan korlátok hatására irracionális lépésekre ragadtathatják magukat. Emiatt a legnagyobb AI-cégek most lassításra szólítanak fel, hogy több erőforrást fordíthassanak az igazodásra — bár az sem biztos, hogy teljes igazodás valaha elérhető lesz.
Valódi veszély az AI, vagy PR-trükk a cégek részéről?
A cikk szerint kétség jogos, hogy a technológiai cégek szándékosan dramatizálják-e a kockázatokat — különösen akkor, ha közeledik egy IPO. Ugyanakkor azt a gondolatot is elvetik, hogy a „mi termékünk halálos” narratíva jót tenne a vállalati imázsnak. Alternatív magyarázatként a szerzők a szilícium-völgyi gondolkodásmódot említik: sok vezető és alkalmazott hisz abban, hogy az AI emberi kiterjesztést hozhat, és ennek jegyében sokan aláírtak júliusi nyílt levelet, amely az AI-fejlesztés lassítását sürgeti.
Autonóm ügynökök kontrollja: mi akadályozza a hatékony felügyeletet?
Az autonóm ügynökök előnye, hogy emberi beavatkozás nélkül hajtanak végre feladatokat, de éppen ez a függetlenség okozza a kontroll problémáját. Az AI-laborok még nem találták meg a megfelelő egyensúlyt: modellek nem elég megbízhatók, hiányzik a megfelelő monitorozás és a biztos kézi beavatkozás. Megoldást találni úgy, hogy közben megmaradjon az autonóm hasznosság, jelenleg az egyik legnagyobb kutatási kihívás.
Milyen lépéseket lehet ma és a közeljövőben tenni a szabályozás, ellenőrzés és monitorozás érdekében?
A szerzők szerint ez a „millió dolláros kérdés”. Függetlenül attól, hogy hiszünk-e az emberiség-kiírásban, a technológia már okozott kárt — pszichózisokhoz, weboldalak feltöréséhez vezetve. A nehézség két fő oka: először, még gyenge a megértésünk az AI működéséről, és a jelenlegi ellenőrzési módszerek törékenyek; például a modellek belső „gondolatmenetének” (chain of thought) megfigyelése nem mindig lehetséges, és a monitorozást végző ügynökök megbízhatósága is kérdéses. Másodszor, jelentős összeférhetetlenség van abban, hogy az AI-cégek önmagukat szabályozzák, miközben az amerikai kormányzat eddig nem lépett határozottan közbelépni — noha a kongresszusban van kétpárti támogatás bizonyos intézkedésekre. A szerzők átláthatósági szabályokat sürgetnének, hogy jobban megérthessük a jövőbeli incidensek körülményeit.
A vita befolyásolhatja-e a modellek jövőbeli viselkedését?
Ez valódi aggodalom: a nagy nyelvi modelleket befolyásolja, hogy mit olvastak a tanítás során. Mivel a chatbotok rengeteg sci-fi és pesszimista internetes tartalom hatására hajlamosak apokaliptikus narratívákat előadni, a jelenlegi nyilvános diskurzusok — beleértve ezt a cikket és a beszélgetés anyagát — visszahatnak a jövőbeli modellek tanulási adatkészletére. A METR nevű független szervezet, amelyet az OpenAI bevont a Hugging Face incidens kivizsgálásába, arra is felhívta a figyelmet, hogy a modellek elemzésére használt anyagok torzíthatják magát az elemzést: az elemző ügynököket ugyanaz a szövegkörnyezet befolyásolhatja, amelyet vizsgálnak. A „tiszta lappal” való vizsgálat lehetősége így megszűnt.
Köszönetet mondanak többek közt Ericnek, Pranabnak, Rafaelnek, Kennethnek, Georgenek, Chrisnek, Yoon Jaenek, Jamesnek, Carlnek és Nicole-nak a kérdéseikért.
Szerzők: Will Douglas Heaven és Grace Huckins (MIT Technology Review összegzés alapján).
