Biztonság

Mesterséges intelligenciával generált szöveg

Új gyermekvédelmi eszközöket és nyomozati támogatást vezet be az OpenAI

Az OpenAI új eszközöket és útmutatókat jelentett be az online gyermekek szexuális kizsákmányolása és bántalmazása elleni fellépéshez.

Új gyermekvédelmi eszközöket és nyomozati támogatást vezet be az OpenAI

Az OpenAI új eszközöket és együttműködéseket jelentett be a gyermekek online szexuális kizsákmányolásának és bántalmazásának megelőzésére, felismerésére és kezelésére. A csomag része egy új képosztályozó, a ChatGPT-ben megjelenő figyelmeztetés, fejlesztői útmutatás és a gyermekvédelmi nyomozók támogatása. A vállalat szerint az intézkedések a meglévő gyermekvédelmi programjára épülnek.

Új képosztályozó

Az új osztályozó a gyermekek szexuális bántalmazását ábrázoló, feltételezett anyagokat (CSAM) keresi, beleértve a mesterséges intelligenciával létrehozott képeket is. A bántalmazás vizuális jeleit vizsgálja, így korábban nem látott képeket is segíthet felismerni. Pontszámai alapján az ellenőrzést végző munkatársak eldönthetik, mely képeket érdemes először megvizsgálni. Az OpenAI szerint ez az első széles körben elérhető CSAM-osztályozó, amely külön jelzi, ha az anyag mesterséges intelligenciával készülhetett.

A vállalat a National Center for Missing and Exploited Children (NCMEC) segítségével tanította és értékelte a rendszert, valamint készítette elő gyakorlati használatát. A nonprofit szervezet működteti a CyberTipline központi bejelentőfelületet. Az OpenAI az ellenőrzött szervezeteknek díjmentesen biztosít hozzáférést az eszközhöz az OpenAI API-n keresztül.

A hozzáférés terjesztésében a Tech Coalition és a ROOST is közreműködik. Az OpenAI emellett csatlakozott a Tech Coalition Lantern programjához, amelyben a résztvevők a gyermekek online szexuális kizsákmányolásával és bántalmazásával kapcsolatos jelzéseket osztanak meg egymással a platformok közötti együttműködés erősítése érdekében.

A vállalat belső és korai partnerekkel végzett tesztjeiben azt vizsgálta, mennyi bántalmazó anyagot talál meg az osztályozó, és milyen gyakran jelöl meg más képeket. A felhasználók által feltöltött képek értékelése alapján az új eszköz a meglévő rendszerhez képest becslésük szerint 48 százalékkal kevesebb képet jelölne meg, miközben nagyjából ugyanannyi bántalmazó képet találna meg. A megjelölt képek között körülbelül kétszer akkora volt a bántalmazást ábrázolók aránya.

A fal által, emberi ellenőrök által vizsgált éles üzemi képeken végzett tesztben az ellenőrök az osztályozó nagy megbízhatósággal megjelölt képeinek 72 százalékáról állapították meg, hogy korábban nem ismert CSAM. Az invideo AI tesztjében minden negyedik megjelölt eset tiltáshoz vezetett. A SafetyKit gyermekeket szexualizáló rajzokat és animációkat vizsgáló értékeléseiben az osztályozó az esetek 90 százalékát felismerte. Az OpenAI a felhasználói visszajelzések alapján tovább kívánja fejleszteni a rendszert.

Figyelmeztetések és fejlesztői útmutatás

Az OpenAI közlése szerint már eddig is tiltotta a CSAM-ot, modelljeit az ilyen kérések visszautasítására tanította, és fellépett a szabályokat sértő fiókokkal szemben. Az új ChatGPT-figyelmeztetés megszakítja a bántalmazó anyagok keresésére irányuló próbálkozásokat, ismerteti a következményeket, és segítséghez irányítja az érintetteket a káros viselkedés abbahagyásához. A figyelmeztetés arra is kitér, hogy a gyermekek szexualizálása akkor is ártalmas, ha az anyagot mesterséges intelligencia hozta létre.

A megjelölt beszélgetést eltávolítják, a ChatGPT-hozzáférést pedig 24 órára felfüggesztik, miközben szakértői segítség továbbra is elérhető marad. Ismételt szabálysértés hosszabb korlátozáshoz, végül a fiók megszüntetéséhez vagy hatósági bejelentéshez vezethet.

A megközelítés kialakításához a Protect Children és a Lucy Faithfull Foundation mellett Dr. Caoilte Ó Ciardha, a University of Kent igazságügyi pszichológiai kutatója és tiszteletbeli docense, valamint Joel Scanlan, a University of Tasmania munkatársa is hozzájárult. Utóbbi egy elrettentő üzeneteket vizsgáló kísérletet függetlenül értékelt.

A vállalat fejlesztőknek szóló útmutatót is közzétett a visszaélések megelőzéséről, a káros tartalmak felismeréséről, ellenőrzéséről és bejelentéséről. Az anyag a Tech Coalition, a Thorn, az NCMEC és az Internet Watch Foundation közreműködésével készült. Kitér a felhasználói bejelentési lehetőségekre, a visszaéléseket egyedi felhasználókhoz kapcsoló biztonsági azonosítókra és az érzékeny tartalmakat ellenőrző munkatársak támogatására is. Az útmutató az új osztályozó mellett többek között az OpenAI Moderation API-jával, a ROOST saját üzemeltetésű Coop ellenőrzőfelületével és a Thorn Safer felismerőrendszerével együtt használható.

Az OpenAI az Anthropic és a Google vállalattal közösen egy másik útmutató elkészítését is megrendelte arról, hogyan kezeljék a fejlesztők, ha mesterségesintelligencia-rendszerekben gyermekek szexuális kizsákmányolásáról vagy bántalmazásáról számolnak be. A Tech Coalition által közzétett ajánlások után az OpenAI szerint több fejlesztő kezdett gyermekvédelmi eszközöket használni, illetve regisztrált CSAM-bejelentések megtételére az NCMEC-nél.

Támogatás a nyomozóknak

Az OpenAI gyermekvédelmi bűnüldöző egységeket is támogat új eszközökkel és a mesterséges intelligencia nyomozati alkalmazásáról szóló képzésekkel. A program dedikált beépülő modulokat, nyomozati eszközöket és összetett adatelemzést foglal magában; a hozzáférést a program adminisztrátorai kezelik.

Az induláskor elérhető első eszköz hosszú beszélgetési naplók és jogi eljárások keretében átadott adatok áttekintésében, lehetséges kapcsolatok azonosításában és idővonalak készítésében segít. Megállapításait az alapul szolgáló forrásanyaghoz kapcsolja.

Az első képzés áttekintésből és bemutatóból áll majd, amelyet később is használható gyakorlati útmutató egészít ki. A hozzáférés a hatóság jóváhagyásától és a program követelményeitől függ. A vállalat később regionális, országos és nemzetközi konferenciákon is javasolja majd a képzés további változatait.