Biztonság

Mesterséges intelligenciával generált szöveg

Négy független szervezettel indít belső biztonsági vizsgálatokat az OpenAI

Az OpenAI négy független szervezettel, az Apollo Research, a METR, a Transluce és a Goodfire részvételével indítja el beágyazott biztonsági értékeléseinek első szakaszát.

Négy független szervezettel indít belső biztonsági vizsgálatokat az OpenAI

Az OpenAI négy független szervezettel – az Apollo Research, a METR, a Transluce és a Goodfire bevonásával – kezdi meg a belső rendszerekhez mélyebb hozzáférést biztosító biztonsági vizsgálatainak első szakaszát. A vállalat szerint a külső értékelések nyilvános beszámolói segíthetnek megérteni, hogyan mérik fel és kezelik a mesterséges intelligencia fejlődésével növekvő kockázatokat.

A vizsgálók a feladattól függően a kutatók által használt belső erőforrások egy részéhez is hozzáférhetnek: modell-ellenőrzőpontokhoz, forráskódhoz, tanítási és értékelési adatokhoz, monitorozó rendszerekhez és műszaki dokumentációhoz. A munkáért felelős kutatókkal és mérnökökkel is beszélhetnek. Az első vizsgálatok a tanítás és a belső használat során fennálló illeszkedésre, valamint a biztonsági védelmekre összpontosítanak, kiegészítve az OpenAI biztonsági érveléseit.

Négyféle vizsgálati feladat

Az Apollo Research azt vizsgálja, hogy a modellek képesek lehetnek-e titokban a fejlesztőik szándéka ellen dolgozni, és az OpenAI védelmei észlelnék-e ezt. Két szakaszban négy állítást értékel: a tanítás nem ösztönözte a szándékok kijátszását; az alapos tesztek és red teaming gyakorlatok nem váltanak ki ilyen viselkedést; a modellek belső használat során nem próbálkoztak vele; illetve az ilyen viselkedés mögötti következtetés észlelhető lenne. Az első szakaszhoz az Apollo többek között kiválasztott nyilvános és még kiadatlan modellekhez, tanítási ellenőrzőpontokhoz, releváns adatokhoz és monitorozási rendszerekhez kap hozzáférést.

A Goodfire értelmezhetőséggel foglalkozó kutatói a szervezet platformjával elemzik a modellek belső működését. A hangsúly a tanítási futások monitorozásán, a hibakeresésen és az illeszkedésen lesz. Eredményeik elsődleges felhasználói az OpenAI kutatói, de a Goodfire a munka előrehaladtával nyilvánosan is beszámol a tanulságokról és megállapításokról.

A METR-rel az OpenAI két vizsgálatot tervez. Az elsőben a METR az OpenAI eddigi legnagyobb megerősítéses tanulási futásában keres a szándékokkal nem összhangban álló viselkedést, köztük olyan hibákat, amelyeket a meglévő tesztek és monitorok esetleg nem észleltek. A megállapodott hozzáférés és biztonsági keretek között a METR önállóan határozhatja meg a prioritásokat és fejlesztheti kereséseit, elemzéseit és viselkedést kiváltó kísérleteit. Ez az első szakasz szűkebb annál a széles körű vizsgálatnál, amelyet a METR saját javaslata felvázolt.

A második, előzetesen egyeztetett METR-vizsgálat a monitorozásra irányulna, de hatóköréről még meg kell állapodni. Ezt egy korábbi, háromhetes monitorozási red teaming gyakorlat előzte meg, amelyben a METR hozzáfért az OpenAI kódjához, monitorjaihoz, releváns működési lefutásokhoz és kutatóihoz.

A Transluce először a tanítás utáni illeszkedési értékelések minőségét és lefedettségét vizsgálja. Ehhez kiválasztott nyilvános és kiadatlan modelleket, az értékeléseket és eredményeiket, a modellviselkedésre vonatkozó adatokat, valamint biztonsági dokumentációt is megismerhet. Az OpenAI és a Transluce egy második, várhatóan mintegy nyolchetes vizsgálatot is tervez 2027 elejére, szélesebb modellhozzáféréssel és annak feltárásával, hogyan befolyásolják az értékelések a modellek kiadásáról szóló döntéseket.

Hozzáférés és felügyelet

Az OpenAI a vizsgálókkal közösen alakította ki azokat az eljárásokat, amelyek a mély hozzáférést a biztonsággal, a titoktartással és a függetlenséggel igyekeznek összehangolni. Minden együttműködés előre meghatározott hatókörrel, erőforrásokkal és biztonsági feltételekkel indul, de a vizsgálók a bizonyítékok alapján módosíthatják módszereiket és további vizsgálatokat javasolhatnak. Ha a közvetlen hozzáférés különösen érzékeny szellemi tulajdont, például modellsúlyokat vagy architektúrát fedne fel, az OpenAI alternatívákat mérlegel, például közös elemzést saját kutatóival.

Az érzékeny bizalmas információkat igénylő vizsgálók az OpenAI irodáiban, a vállalat eszközein dolgoznak, és legalább az alkalmazottakra vonatkozó biztonsági szabályokat követik; egyes kísérleteknél szigorúbb előírások is érvényesek lehetnek. Az OpenAI kezdetben technikai hozzáférési nehézségekre, helyhiányra és változó biztonsági eljárásokra is számít.

A vizsgálatokat az OpenAI Foundation igazgatótanácsának független felügyeleti testülete, a Safety and Security Committee is nyomon követheti. A testület kitakarás nélküli jelentéseket kap, és a vizsgálókkal akár négyszemközt is beszélhet. Az OpenAI és egy értékelő közötti vitákat először a Safety Advisory Group és a vállalat vezetői elé terjesztik, a bizottságot pedig értesítik; ha nincs megoldás, a bizottság dönt.

A munkatársakkal folytatott beszélgetések segíthetik az értékeléseket, de nem publikálhatók és nem tulajdoníthatók az alkalmazottaknak. A vizsgálók külön eljárásban kérhetik, hogy az OpenAI egy-egy állítást megerősítsen, helyesbítsen vagy tisztázzon. A megerősített állítások közzétehetők, ahogyan az is közölhető, ha a vállalat megtagadta a megerősítést.

Függetlenség és nyilvánosság

A vizsgálók önállóan publikálhatják értékeléseiket, az OpenAI ugyanakkor fenntartja a bizalmas információk kitakarásának jogát. A vállalat a biztonsági kockázatot jelentő megállapítások felelős közzétételének késleltetését is kérheti, hogy idő maradjon a problémák kezelésére. A nyilvános beszámolók mellett részletesebb bizalmas jelentések kerülnek a felügyeleti szervekhez.

Az Apollo Research és a Goodfire pénzügyi díjazást kap, amely nem függ az értékelések eredményétől. A METR és a Transluce nem fogad el díjazást, de a vizsgálatokhoz API-kreditet vagy számítási kapacitást kaphat. Az OpenAI szerint az összeférhetetlenségek kezelésének folyamatait még a partnerekkel együtt dolgozzák ki; a résztvevőktől rövid várakozási időt is kérnek, mielőtt egy másik MI-fejlesztőnél kezdenének hasonló munkát.

A vállalat szerint a kezdeményezés támogatja a White House Accord on Super Intelligence keretében vállalt független biztonsági értékeléseket. Az OpenAI hosszabb távon rendszeres, beágyazott vizsgálatokat szeretne, és a következő hónapokban további biztonsági kérdések külső értékelését is támogatná. Jövőbeni vizsgálatok a biztonsági keretrendszereknek való megfelelésre, valamint a szervezeti kultúrára és folyamatokra is kiterjedhetnek.