Biztonság

Mesterséges intelligenciával generált szöveg

Vélemény a rekurszív önfejlesztésről: lossy önfejlesztés és a laborok hatása az AI-párbeszédre

A cikk szerzője az OpenAI és az Anthropic gyakorlatát, valamint a San Franciscó-i versengő AI-kultúrát elemzi, különös tekintettel a rekurszív önfejlesztés (RSI) várakozásaira.

Vélemény a rekurszív önfejlesztésről: lossy önfejlesztés és a laborok hatása az AI-párbeszédre

Az elmúlt hónapokban a legfontosabb frontier AI laborok — különösen az OpenAI és az Anthropic — kezdtek több ezer egyidejű ügynököt alkalmazni arra, hogy hatékonyabban végezzenek belső kutatási és termékfejlesztési feladatokat. Ez a gyors belső átalakulás sok alkalmazottban frissíti a várakozásokat a mesterséges intelligencia (MI) előrehaladásának üteméről és a kapcsolódó kockázatokról.

A szerző alapvető nézőpontja az, hogy a frontier laborok és a San Franciscó-i, intenzív, versengő kultúra felhangosít bármilyen MI-aggodalmat. Ennek van előnye is — nő a közönség figyelme — de ha a kockázatok időbeli vagy súlyossági várakozásait eltúlozzák, az káros másodlagos hatásokkal járhat. 2023–2024-ben is voltak hangos MI-biztonsági viták, amelyek nyomán sokan várták a közvetlenül prognosztizált elsődleges kockázatokat; azok a kockázatok végül nem érkeztek a megjósolt ütemterv szerint.

Kulturális felhang és a „szingularitás hamar” narratíva

A szerző hivatkozik Richard Ngo összegzésére: az MI-biztonsági közösség egy jelentős része implicit vagy expliciten rövid időn belüli intelligenciarobbanás felé tájékozódik. Ngo állítása szerint ezek a várakozások irányukban lehetnek helyesek — azaz gyorsabb előrelépést jeleznek másokhoz képest —, de ténybeli pontosságuk kétséges: valószínűleg nem lesz szuperintelligencia a következő nyolc évben, mégis olyan gyors haladás fog érződni, hogy a rövid határidőket hirdetők „igaza” látszik majd.

A szerző számára a fentiek kultúrális beágyazottsága és a laboroknál érzékelt növekvő specifikus áttörések közti egyensúly kérdéses. Alapvárakozása az, hogy a jelenlegi aggodalmak nagy része a skálázott ügynökök terjedéséből fakad, bár magas bizonytalanságot tart fenn arra az esetre, ha a laborok privát, képzeletalapú alapokban gyökeredző áttöréseket látnának.

Lossy self-improvement: a szerző alternatív forgatókönyve

A szerző a „lossy self-improvement” (veszteséges önfejlesztés) kifejezést használja mint alternatívát a teljes, gyorsan önmagát fejlesztő RSI-nek (recursive self-improvement). Ennek rövid összetevői:

  • Az automatizálható kutatás gyakran túl szűk feladatokra korlátozódik, és a skálázási törvények exponenciális költségei megnehezítik a masszív gyorsulást.
  • Párhuzamos ügynökök esetén valós diminishing returns (csökkenő hozadék) jelenik meg.
  • Erőforrás-szűk keresztmetszetek és politikai tényezők jelentősek a nagy teljesítményű LLM-ek építésében, és az MI korlátozottan képes ezeken gyorsítani.

E nézet szerint az ügynökflották és az inference-időbeli skálázás nagy hatékonyságnövekedést hozhatnak, de nem feltétlenül hoznak rövid távon univerzális, váratlan intelligenciasokkot.

Mire tanították a podcastok és laborok belső mérései?

A szerző több forrást említ, köztük Dwarkesh podcastjait Noam Brown-nal és a John Schulman–Beren Millidge–Charlie O’Neill trió beszélgetését. A Noam-epizód rávilágított, milyen gyors rövid távú sebességnövekedést adhat nagy tömegű inference-kapacitás: a laborok ezeket a száz- vagy ezerszámra futó ügynököket mérhető, fontos feladatokra vetik be.

Ugyanakkor a szerző kételyeket fogalmaz meg, hogy a laborok végtelenül tarthatnák a belső R&D-re fordítható compute-arányt, különösen IPO-tervek és a sokkal nagyobb volumen miatti gazdasági nyomás közepette.

A trióvita a technikai módszerek hatóköréről azt a következtetést erősítette meg: a jelenlegi módszerek működnek és megoldják azokat a problémákat, amelyeket jól tudunk megfogalmazni, de nem adnak „varázslatos” általánosítást ismeretlen, nehezebb feladatokra — kivételként a matematika említhető.

Idővonalak és képességi küszöbök: a podcast előrejelzései

A trió válaszai alapján a szerző összegyűjtötte, hogyan válaszoltak arra a kérdésre, mikor éri el az MI bizonyos küszöböket (minden idővonal a beszélgetés idejéhez viszonyítva értendő):

  • Drop-in, távoli munkavállaló széleskörű fehérgalléros munkára (egyhavi hatékonyság):

    • Charlie O’Neill: körülbelül 1 év programozott hozzáféréssel a munkaeszközökhöz; ~2 év, ha csak böngészőn keresztül működhet. (Nem kreatív kutatás.)
    • Beren Millidge: ~3 év a teljes általánosságig; 80–90% lefedettség hamarabb.
    • John Schulman: ~1 év egy „rendben lévő” változathoz, képességek idővel javulnak.
  • 10× termelékenység MI kutatók számára:

    • Charlie O’Neill: 5–10 év; szűk keresztmetszet az információ feldolgozása és a következő kísérlet kiválasztása.
    • Beren Millidge: John ~2 éves becslését találja elfogadhatónak, de nem ad saját pontos idővonalat.
    • John Schulman: ~2 év.
  • Az MI felülmúlja a legjobb emberi szakértőket minden számítógép-alapú munkában, beleértve többéves projekteket (ASI szint):

    • Charlie O’Neill: 5–10 év; korlátok a memória és a kontextushossz terén.
    • Beren Millidge: ~5 év a laborok fókuszterületein, de a teljes univerzális változatra nem ad határozott időt.
    • John Schulman: 3–4 év, de tér- és fizikai területek későbbiek lehetnek.

A szerző kiemeli, hogy az intelligencia mérésének pontossága és a küszöbök specifikussága kulcskérdés: az MI teljesítménye sok esetben lassan diffundál, nem egyik pillanatról a másikra lép át emberi szerepeket.

Mely területeket automatizálják először és hol küzd továbbra is az ember?

A szerző szerint sok tudományos tevékenység kommunikációból és a normák kialakításából áll — ez a rész kevésbé automatizálható. Az ügynökflották várhatóan jól teljesítenek egyértelmű, verifikálható problémákon, és az RSI jelenleg inkább az effektivitás növelésében (olcsóbb, szélesebb inference) lesz hasznos, mint a csúcsteljesítmény alapvető megemelésében.

Ugyanakkor a skálázási törvények azt mutatják, hogy lineáris intelligenciagyarapodás eléréséhez exponenciális compute-ra és erőforrásokra lehet szükség. RSI viszont képes lehet a jelenlegi LLM-ek szolgáltatási költségeit jelentősen csökkenteni — és ez a költségcsökkenés gazdasági átalakulást hozhat.

A szerző idézi John Schulman megállapításait a post-training nehézségeiről: a modellek viselkedésének megformálásához sok különböző területre kell figyelni, és ezeket nehéz teljesen automatizálni; hibák a post-training során könnyen rejtve maradhatnak a benchmarkokban.

Laborok megfigyelései és a jelen állás

OpenAI és Anthropic belső mérései és rendszerkártyái (például a Claude Fable 5.1 & Mythos 5.1 System Card egyik megjegyzése) azt sugallják, hogy a modellek belső használata fontos tényező volt a jelenlegi haladási rátában, de egyelőre nem látnak egyértelmű jeleket a drámai, felgyorsult növekedésre.

A szerző szerint a legerősebb "exponenciális" ellen harcolni a csúcsteljesítmény növelése — ez a legnehezebben mozdítható tényező. A korai RSI-epizódok inkább az inference-időbeli compute tömeges skálázását és elosztását jelentik, amely sok alacsonyan lógó gyümölcsöt hordoz és önmagában gazdaságilag transzformatív lehet. Ez felszabadíthat erőforrásokat az MI elterjesztésének további ösztönzésére, ami a potenciális előnyök kulcsfontosságú korlátja.

Következtetés: mi a valószínű alapvonal?

A jelenlegi bizonyítékok és a laborok kulturális dinamizmusa mellett a szerző alapvonalként továbbra is a "lossy self-improvement" forgatókönyvét tartja valószínűnek. Szerinte a skálázott ügynökök és a jobb inference hatékonyság érzékelt gyorsulást eredményeznek, de a puszta intelligenciakapacitás rendkívüli gyors növelése — a klasszikus értelemben vett intelligenciarobbanás — nem tűnik közeli, bizonyított kimenetelnek. Ugyanakkor fenntartja, hogy az MI területén a dolgok gyorsan változhatnak, és új bizonyítékok megváltoztathatják ezt a becslést.