Anthropic alignment vezetője, Evan Hubinger nyilvánosan egyetértett egy távozó kutatóval, aki három évet töltött pretraining munkával az OpenAI-nál és az Anthropicnál, abban a feltevésben, hogy a fejlett mesterséges intelligencia potenciálisan az emberiség kihalását okozhatja. A távozó kutató azzal érvelt, hogy a valószínűséget több mint 10%-ra becsüli a következő tíz évben.
A kockázat mint befektetési prospektus
A vita központi állítása az volt, hogy ez a fajta kockázatbecslés nem pusztán vallomás a veszélyről, hanem egyfajta prospektus is. Egy, a potenciális kihalási kockázatra tett nyilvános becslés — különösen, ha egy többszázezer-milliárd dolláros (multitrillion-dollar) IPO előkészítése zajlik — két célt szolgálhat egyszerre: egyrészt bizonyítja, hogy a laboratórium őszinte és tudatában van a veszélyeknek, másrészt azt sugallja, hogy valaki úgyis meg fogja építeni ezt a rendszert, ezért érdemes „elsőként” felelősen cselekedni.
A kritikus nézőpont szerint ez a logika oda vezethet, hogy a figyelmeztetések egyben eladási érvekké válnak: minden riasztás növeli a téttel kapcsolatos érzékenységet, és minden emelkedő tét indokoltabbnak tűnik több, nem kevesebb képzést elvégezni.
Mi a tét?
A vita nem újítja fel a technológiai fejlődés és a biztonság közti feszültség kérdését, de kiemeli, hogy a kockázatkommunikáció hogyan alakíthatja a finanszírozási és fejlesztési döntéseket. A megfogalmazás szerint Anthropic most két dolgot „árul”: egy becslést — ami szerint körülbelül 10% vagy nagyobb az emberiség kihalásának esélye a következő tíz évben — és azt a csapatot, amely állításuk szerint képes csökkenteni ezt a kockázatot.
Következmények
Ha a kockázatok kommunikációja tényleg finanszírozási előnnyé válik, az ösztönözheti a gyorsabb fejlesztést és a versenyt a nagyobb rendszerek létrehozására. Ugyanakkor felveti a kérdést, hogy a technológiai szereplők milyen etikai és szabályozási felelősséggel tartoznak a kockázatok mérséklésében és a közvélemény tájékoztatásában.
A vita szereplői és a számok — így Evan Hubinger és a több mint 10%-os tízéves becslés — a publikus nyilatkozatok alapján ismertek; a diskurzus azonban szélesebb kérdéseket vet fel a mesterséges intelligencia fejlesztésének irányáról és ösztönzőiről.
