Biztonság

Mesterséges intelligenciával generált szöveg

Anthropic vezető kutatója szerint >10% az esélye, hogy a fejlesztett szuperintelligencia veszélyezteti az emberiséget

Az Anthropic egyik mesterséges intelligencia-modelleken dolgozó munkatársa, Jacob Coxon lemondott, mert szerintük a cég nem kezeli megfelelően a fejlesztés kockázatait.

Anthropic vezető kutatója szerint >10% az esélye, hogy a fejlesztett szuperintelligencia veszélyezteti az emberiséget

Az amerikai Forbes szerint az Anthropic egyik, mesterséges intelligencia-modellek betanításán dolgozó munkatársa felmondott, mert úgy látja: a cég nem foglalkozik kellő súllyal annak lehetőségével, hogy a fejlesztett szuperintelligencia az emberiség kipusztulását okozhatja. A felmondó munkatárs, Jacob Coxon korábban az OpenAI-nál is dolgozott.

Miről van szó?

Jacob Coxon azt állította, hogy az Anthropic olyan mesterséges szuperintelligencia létrehozásán dolgozik, amely képes lehet saját magát továbbfejleszteni. A szakember szerint egy ilyen, önfejlesztő rendszer katasztrofális következményekhez vezethet, ha nem sikerül biztonságosan korlátozni vagy igazítani működését.

Coxon bejegyzésére reagált az Anthropic alignment (az MI emberi értékekhez igazításán dolgozó csoport) kutatásainak vezetője, Evan Hubinger. Hubinger elismerte, hogy létezik a lehetőség, miszerint egy fejlett mesterséges intelligencia az emberiség pusztulását okozhatja. Saját becslése alapján ennek a valószínűsége meghaladja a 10 százalékot a következő tíz évben.

Mely MI-k jelentenek veszélyt?

Mind Hubinger, mind Coxon hangsúlyozta, hogy nem a jelenlegi nagy nyelvi modellek jelentik közvetlenül a legnagyobb kockázatot. A fő aggodalom az, hogy a következő évtizedben kifejleszthetnek olyan mesterséges szuperintelligenciát, amely önmagát képes továbbfejleszteni és így meghaladja az emberi képességeket. Hubinger szerint az Anthropicnál jelenleg nincs kész, megbízható megoldás arra, hogyan lehetne egy ilyen rendszert biztonságosan az emberi célokhoz és értékekhez igazítani, és nem világos, hogy időben sikerül-e ezt megoldani.

Tágabb vita és szabályozási javaslatok

A felmondás és a belső szakmai vita túlmutat egyetlen alkalmazott döntésén. Júliusban több vezető mesterségesintelligencia-kutató, köztük az Anthropic társalapítói és más jelentős MI-laborok vezetői aláírtak egy nyilatkozatot, amely szerint szükség lehet az iparág és a kormányok által szándékosan történő lassításra a legfejlettebb rendszerek fejlesztésében. A cél az, hogy a fejlesztési tempó csökkentésével idő nyíljon a megfelelő biztonsági és szabályozási mechanizmusok kidolgozására.

Miért fontos ez?

A vita középpontjában az áll, hogy a jövőben megjelenő, önfejlesztő képességgel bíró rendszerek lehetséges következményei túlnőhetnek a jelenlegi technológiai problémákon. Az érintett kutatók és laborok döntései — mind a fejlesztés tempóját, mind a biztonsági kutatás priorizálását illetően — jelentős hatással lehetnek arra, hogy miként alakulnak ezek a kockázatok a következő években.