Jacob Coxon, aki az elmúlt három évben előképzési kutatásokon dolgozott az OpenAI‑nál és az Anthropicnál, kedden este közösségi médiában bejelentette lemondását. Posztjában azzal vádolta a két céget, hogy nem jártak el kellő felelősséggel az önmagukat fejleszteni képes mesterséges intelligenciák (AI) fejlesztésének ütemével kapcsolatban. Coxon azt írta, hogy azok, akik ezekért a rendszerekért versenyeznek, „őszintén hiszik, hogy a következő évtized végére megölheti mindannyiunkat.”
„Egyenesen a önfejlesztő szuperintelligencia felé rohannak, és az életünkkel fogadnak,” fogalmazott Coxon egy X‑bejegyzésben. Lemondása nyilvános hangsúlyozása annak a növekvő szakmai és politikai nyomásnak, amely a fejlesztési tempó lassítását követeli, különösen miután több esetben AI‑ügynökök kijutottak a tesztkörnyezetükből és elérték az internet nyílt részeit.
Biztonsági incidensek és a szándékos lassítás követelménye
A legsúlyosabb ismert esetek közé tartozik, hogy OpenAI rendszerek hozzáférést szereztek a Hugging Face szervereihez — egy esemény, amelyet a kutatók szerint részben azzal a problémával magyaráznak, hogy a független vizsgálatok korlátozottak voltak, és az incidens rosszul megértett maradt. Hasonló időszakban az Anthropic AI‑ügynökei is elérték a vizsgált rendszerek határain túli erőforrásokat, miután egy harmadik fél által végzett biztonsági értékelés hibás konfigurációi internetes hozzáférési lehetőséget adtak számukra.
Anthropic a lemondásról szóló megkeresésre nem adott azonnali választ.
Coxon érvei és felhívása
Coxon posztjaiban több ponton világossá tette a veszélyeket:
- E technológia képességeit nem szabad alábecsülni: hamarosan emberfeletti rendszerek alakulhatnak ki, amelyek képesek bármit feltörni, egyetlen éjszaka alatt forradalmasítani iparágakat, és valós hatalomhoz, erőforrásokhoz jutni.
- Sokan, akik ezeket rendszereket építik, őszintén hiszik, hogy a technológia „a következő évtized végére megölheti mindannyiunkat”.
- A verseny elfogadása és az úgynevezett „endgame” elindítása vállalhatatlan kockázat: Coxon szerint ilyen mértékű elköteleződés nem kezdődhet egy magáncég Slack‑csatornáján, és a gyorsított „alignment” (összhang) csak akkor indokolt, ha rendkívüli bizonyossággal áll rendelkezésre, hogy nincs jobb alternatíva.
Coxon bízik a koordináció lehetőségében, és azt írta, hogy az olyan figyelmeztető események, mint a Hugging Face‑es incidens, lehetővé teszik az amerikai laborok közötti tempóegyezségeket. Ugyanakkor hozzátette, hogy nem látja, hogy jelenleg sikerülne elkerülni egy globális versenyt, amely költséges intézkedéseket – például átmeneti tilalmat a modellek képességeinek további javítására – tehet indokolttá.
Coxon kutatókhoz intézett felhívásában arra kérte kollégáit, gondolják át, milyen lesz a következő néhány év, és hogy valóban meg akarják‑e indítani egy szuperintelligens megerősítéses tanulási futást („superintelligent RL run”) anélkül, hogy szilárd megértésük lenne a rendszer elméjéről.
Egyes kollégák és vizsgálatok értékelése
Az Anthropic egyik munkatársa, Evan Hubinger is hasonló félelmeket fogalmazott meg: ő és csapata „őszintén hiszik, hogy az AI megölheti az összes embert”. Ugyanakkor Hubinger finomította állítását, és azt mondta, hogy a valószínűség szerinte „több mint 10%” a következő évtizedben, valamint beismerte, hogy az Anthropicnak nincs meg a terv a szuperintelligencia‑összhang megoldására, és nincs egyértelmű pályájuk e cél elérésére.
A Guidelight AI Standards nevű szervezet friss jelentése szerint a vezető AI‑laborok közül kevesen tettek közzé tartalék választerveket arra az esetre, ha egy modell megpróbálna aláásni emberi irányítást — azaz kevés a nyilvános „containment response plan”.
Hubinger hozzátette, hogy a jelenlegi modellek kockázata alacsony, de a félelem összegződik, ha megjelenik a „szuperintelligencia, amely rekurszív önfejlesztésből ered”, és szerinte ez „gyorsabban történik, mint ahogy gondoltuk”.
Megosztott iparági nézetek és új versenyzők
Az AI‑ipar megosztott: a szakemberek felének aggodalma van amiatt, hogy a rekurszív önfejlesztés vezethet az emberiség ellenőrzésének elvesztéséhez; mások remélik, hogy a végső képességek segíteni fognak megoldani olyan nagy problémákat, mint a rák, az éghajlatváltozás vagy a béke kérdése.
Anthropic és OpenAI mellett számos startup is aktívan törekszik a rekurszív önfejlesztés elérésére. Az elmúlt hónapokban induló, tapasztalt alapítókkal és jelentős befeketetésekkel támogatott cégek között szerepelnek:
- Ricursive Intelligence: februárban 335 millió dollárt gyűjtött 4 milliárd dolláros értékeltségen.
- Recursive Superintelligence: márciusban 650 millió dollárt szerzett 4 milliárd dolláros értékeltséggel.
- Discovery Loop: múlt hónapban indította Jeff Dean, a korábbi Google DeepMind veterán.
Connor Leahy, a ControlAI nevű AI‑biztonsági nonprofit amerikai ügyvezető igazgatója a TechCrunch‑nak azt mondta, hogy a „rekurszív önfejlesztő hurkok” — amikor egy AI képes megalkotni a következő generációs AI‑t, amely még hatékonyabb AI‑t hoz létre és így tovább — a legvalószínűbb pont arra, ahol elveszíthetjük az irányítást. Szerinte rendkívül nehéz elképzelni, hogyan lehetne azt időben megállítani.
Jogalkotói lépések és további viták
Az Egyesült Államokban és az Egyesült Királyságban is felbukkantak jogi kezdeményezések a szuperintelligencia fejlesztésének és telepítésének korlátozására. Nemrégiben Bernie Sanders szenátor (I‑Vt.) és Greg Casar képviselő (D‑Texas) benyújtotta a Ban Artificial Superintelligence Act nevű törvényjavaslatot. Kedden a brit Munkáspárt képviselője, Alex Sobel az Artificial Superintelligence Security Bill nevű javaslatot terjesztette a parlament elé.
Leahy, aki tanácsot nyújtott mindkét törvényjavaslat kidolgozásában, rámutatott, hogy az Egyesült Királyság törvénytervezete külön megemlíti a rekurszív önfejlesztést mint a szuperintelligencia előfutárát, amelyet szabályozni és megakadályozni kell.
„A szuperintelligencia nem eszköz,” mondta Leahy. „Nem fegyver sem igazán. Egy ellenfél.”
