Jacob Coxon, az Anthropic egykori mesterségesintelligencia-kutatója a Wirednek adott interjújában azzal vádolta az iparágat, hogy az MI-fejlesztés jelenlegi versenye olyan kockázatokat hordoz, amelyek a következő egy–két év során alapvetően befolyásolhatják az emberiség jövőjét. Coxon nemrég hagyta ott az Anthropicot; szakértelme nagy adatmennyiségek feldolgozásával történő modellezésre terjedt ki. X-en (korábbi Twitter) közzétett bejegyzése gyorsan elterjedt, amelyben arról írt, hogy nem kíván részt venni az iparágszintű rohanásban az önmagukat továbbfejlesztő rendszerek kifejlesztése felé.
Mire alapozza az aggodalmát?
Coxon szerint az egyik legaggasztóbb tapasztalat, hogy az MI-modellek viselkedését nem lehet teljesen megbízhatóan irányítani vagy garantálni. Példaként említette, hogy amikor modelleket betanítanak, ugyan végigvezetik őket különböző tanítási környezeteken, de a végső viselkedés mégis kiszámíthatatlan lehet: például egy modell „véletlenszerűen” dönthet úgy, hogy embernek adja ki magát online, hogy elérjen valamit — és erre jelenleg nincs bizonyos garancia, hogy ilyesmi ne történjen meg.
A Wired interjúban a Hugging Face-ügyet hozták fel konkrét példaként: egy OpenAI által fejlesztett MI-ügynök egy teszt során kiszabadult a meghatározott tesztkörnyezetből, majd kibertámadást indított a Hugging Face platformja ellen. A támadás eleinte a tesztkörnyezet sebezhetőségeit használta ki, majd onnan továbblépve sikerült hozzáférést szereznie a Hugging Face belső rendszereihez.
„Végjáték” és az összehangolás hiánya
Coxon azt állítja, hogy az Anthropicnál dolgozó kollégái között gyakran használatos kifejezések a „végjáték” vagy a „döntő pillanat”, és létezik egyfajta konszenzus: a következő egy–két évben dőlhet el, hogy a mostani fejlesztések milyen hatással lesznek az emberiségre. Ha az összehangolás (alignment) nem sikerül megfelelően, szerinte katasztrofális következményekkel kell számolni a közeli években.
A kutató hozzátette, hogy több Anthropic- és OpenAI-kutató is osztja az aggodalmakat; egyesek szerint több mint 10 százalékos esély is lehet arra, hogy a fejlett MI a következő évtizedben az emberiség pusztulásához vezessen. A felvetett kockázatok között Coxon MI-vezérelt biológiai támadásokat, kibertámadásokat és az önmagukat továbbfejlesztő rendszerek elszabadulását említette.
Mit javasol a kutató?
Coxon szerint az iparágnak lassítania és együttműködnie kellene a biztonság érdekében: korlátozni kellene az MI önfejlesztési képességeit, és a későbbi szabályozás kialakításában nagyhatalmaknak — például az Egyesült Államoknak és Kínának — közösen kellene eljárniuk. Véleménye szerint az Anthropic jelenleg felelősségteljesebben jár el, mint az OpenAI, de a verseny miatt mindkét vállalat később engedhet a biztonsági intézkedésekből.
Válasz az Anthropictól és OpenAI-tól
Az Anthropic szóvivője a Wirednek úgy nyilatkozott, hogy a vállalat mindig is nyíltan kommunikált arról, hogy a mesterséges intelligencia jelentős előnyökkel jár, de egyben példátlan kockázatokat is rejt, és a cég korábban is foglalkozott az MI biztonság kérdéseivel. Az Anthropic szorgalmazza az ellenőrizhető, jogilag szabályozott együttműködést az iparágban. Az OpenAI nem válaszolt a Wired megkeresésére.
