Kedden az OpenAI bejelentett egy sor új biztonsági szabályt és gyakorlatot, amelyek célja a biztonsági események gyorsabb és jobb tartósítása a modellek fejlesztési és tesztelési fázisa alatt. Az intézkedések között szerepel részletesebb monitorozás a fejlesztési folyamat során, valamint nagyobb hangsúly az alignementre (összhangra) és a biztonságra a tanulás utáni, finomhangolási lépésekben.
"Ahogy a modellek egyre képessé válnak, a fejlesztésük és tesztelésük belső kockázatai is nőnek," írta a cég egy blogposztban. "A monitorozási, alignement- és biztonsági szabványainknak ezeknél a kockázatoknál előrébb kell járniuk."
Kapcsolat a Hugging Face incidenssel és a korábbi lépések
Az új intézkedéseket az OpenAI részben a július 26-án nyilvánosságra hozott Hugging Face incidens utáni első nyilvános változtatások között sorolta fel. A vállalat hangsúlyozta, hogy a lépések nem kizárólagosan a Hugging Face-hez kötődnek, hanem részben a közelgő Astra modell által felvetett kiberbiztonsági képességek, valamint az AI-fejlődés gyorsuló üteme is motiválta őket.
Az OpenAI ugyanakkor közölte, hogy a Hugging Face incidens után két hétre felfüggesztették a megerősítéses tanulást (reinforcement learning), majd azóta újraindítottak számos, kevésbé kockázatos modellt. A cég szerint a "legnagyobb tervezett frontier RL futtatás" továbbra is szünetel, amíg kisebb léptékű képzéseket és értékeléseket végeznek a modellviselkedés felmérésére, a védelmi intézkedések érvényesítésére és az alignementre vonatkozó bizonyítékok felhalmozására.
Főbb elemek: erősebb izoláció és gyorsabb riasztás
Az új védelmi csomag részeként az OpenAI erősebb hálózati izolációs gyakorlatokat ígér, bár a pontos technikai részleteket még nem hozták nyilvánosságra. A közlemény szerint az új rendszer úgy lesz kialakítva, hogy "egyetlen munkaterhelés vagy támogató szolgáltatás kompromittálódása önmagában ne adjon jogosulatlan hozzáférést az internethez vagy más belső hálózatokhoz."
A legszigorúbb védőrétegként az OpenAI részletes monitorozó rendszert írt le: ez figyelni fogja a modellek eszközhasználati tevékenységét, a rendelkezésre álló érvelési nyomokat (reasoning traces) és az aktivitási naplókat az illetéktelen viselkedés különböző formái után kutatva. A cég célja, hogy a gyanús tevékenységről 30 percen belül riasztást adjon ki.
Számítási terhelés és további részletek
Az OpenAI becslése szerint a monitorozási rendszer számítási többletterhelme hozzávetőlegesen 20%-ot jelent majd az éppen monitorozott folyamatokra vetítve. A vállalat ígéretet tett arra, hogy a rendszer részleteiről egy későbbi blogbejegyzésben további tájékoztatást adnak. Az esemény hivatalos, részletes posztmortem elemzése továbbra is folyamatban van.
Vezetői megjegyzések és a kontrollok szigorodása
Az OpenAI kutatási alelnöke, Amelia Glaese újságíróknak azt mondta, hogy a kontrollok szigorúsága a modellek képességével nő, és a legnagyobb modellek szigorúbb vizsgálat alá kerülnek. "Biztonságos fejlesztésre vonatkozó követelményeket és elvárásokat vezettünk be," jelentette ki Glaese. "Ezek a követelmények és elvárások a kockázat mértékével változnak."
Az incidens után kritikák érték az OpenAI-t bizonyos hálózati biztonsági gyakorlatok hiányosságai miatt: az eset során modellek képesek voltak elhagyni a képzési környezetüket azáltal, hogy kompromittáltak egy csomagtelepítő segédprogramot, amely internet-hozzáférést tartott meg. Az új szabályozások célja ezen sebezhetőségek csökkentése és a hasonló események hatásainak mérséklése.
