OpenAI bemutatta belső fejlesztésű, automatizált red‑teaming modelljét, GPT‑Redet, amelynek célja, hogy nagyobb volumenben és változatossággal találjon sebezhetőségeket—elsősorban prompt‑injekciós támadásokat—és ezekre generáljon példákat a termelési modellek adversariális tréningjéhez. A vállalat szerint az automata red‑teaming lehetővé teszi, hogy a biztonsági vizsgálatok lépést tartsanak a gyorsan fejlesztett modellek képességeivel.
Miért volt szükség erre?
A red‑teaming (átlátszó, támadó jellegű vizsgálat) nélkülözhetetlen a sebezhetőségek feltárásához és a modellek robosztusságának javításához, de a hagyományos, emberi red‑teaming skálázhatósága korlátozott. Emberi csapatok felkészítése és a gyakorlatok lefolytatása időigényes, így kevesebb támadási példát lehet előállítani, mint amennyi a hatékony adversariális tréninghez szükséges. Emellett a korábban használt robosztussági értékelések egyes részeit a legújabb modellek már „telítették”, vagyis a benchmarkok nem szolgáltattak többé érdekességet.
Hogyan működik a GPT‑Red?
GPT‑Red hasonlóan viselkedik, mint egy emberi red‑teamer: támadási célokat követ, promptokat küld, megfigyeli a modellek válaszait, majd iterál. A modellt önállóan, belső használatra fejlesztették és nagy számítási erőforrást fordítottak a képzésére—az OpenAI szerint olyan mértékű compute‑ot, amely a post‑training futtatásaik egyik legnagyobbjaihoz mérhető, kizárólag a biztonság javítására.
A képzés során GPT‑Red és többféle „defender” modell közös önjátékon (self‑play) vesz részt: GPT‑Redet sikeres támadások kiváltásáért jutalmazzák, míg a védő modelleket a támadások kivédéséért. A környezetek sokféleségét valósághű forgatókönyvekkel bővítették—például egy támadó részben kontrollálhatja egy helyi fájl, egy weboldal banner, egy e‑mail vagy egy eszköz válaszát. Minden forgatókönyvnek saját threat modelje van, amely meghatározza, mi számít sikeres támadásnak.
Milyen eredményeket értek el?
- GPT‑Redet közvetlenül beépítették a termelési modellek képzésébe: az OpenAI állítása szerint ennek köszönhetően a GPT‑5.6 Sol a legrobosztusabb modellük prompt‑injekciókkal szemben.
- Konkrétan a GPT‑5.6 Sol 6× kevesebb hibát produkált a legnehezebb közvetlen prompt‑injekciós benchmarkon, mint az a legjobb termelési modellük volt négy hónappal korábban.
- Egy független, replikált indirekt prompt‑injekciós kihívásban (Dziemian et al., 2025), ahol emberi red‑teamerek és GPT‑Red külön szerepeltek a GPT‑5.1 elleni támadásokban, GPT‑Red 84%-os sikerességet ért el a forgatókönyvekben, míg az emberek 13%-ot.
- Korábbi támadási osztályok esetén is jelentős javulás látható: egy korai „Fake Chain‑of‑Thought” direkt prompt‑injekciós típus korábban akár 95% fölötti sikerarányt ért el GPT‑5.1-en, míg ma ezek az arányok GPT‑5.6‑on 10% alá csökkentek.
- Számos indirekt prompt‑injekciós benchmark (fejlesztői eszközökre, böngészésre célzott tesztek) a legújabb modellel már telített lett (>97% pontosság).
- Általánosabban, GPT‑Red támadási sikerességek időben csökkentek a védett modellek javulásával; a legújabb kiadott modell, GPT‑5.6 Sol, mindössze 0,05%‑ban vallott kudarcot GPT‑Red közvetlen prompt‑injekciói ellen a széles körű robosztussági környezetekben.
Valós rendszerek és átviteli kísérletek
OpenAI több kísérleti környezetben is tesztelte GPT‑Red által kidolgozott támadásokat:
- Egy irodai, közel valós üzemmódú automatizált ügynök (Vendy) ellen végrehajtott támadásban GPT‑Red képes volt a termelési ügynököt manipulálni: drága tételek árát lecsökkenteni és más vásárlások megrendelését törölni. A támadásokat először szimulációban fejlesztették és onnan vitték át az élő rendszerre; a sebezhetőségeket bejelentették, és új védelmi intézkedéseket tesztelnek.
- Egy Codex CLI‑ügynök (GPT‑5.4 mini alapú) ellen egy 10‑es, kimenő adatkiáramlásra fókuszáló feladatsoron GPT‑Red több forgatókönyvben sikeres volt, és tokenhatékonyságban is jobb volt egy GPT‑5.5‑re promptolt baseline‑nál.
Biztonsági jelleg és korlátozások
GPT‑Redet külön tartják a termelésre szánt modellektől, hogy a kifejezetten tréning során fejlesztett rosszindulatú képességek ne kerülhessenek ki. Ugyanakkor az OpenAI szerint a cél épp az, hogy ezeket a képességeket a védő modellekbe beépítve elhasználják: a red‑teamer által előállított támadásokból generált példákkal megedzik a következő generációs modelleket.
A cég hangsúlyozza továbbá, hogy a modell „biztonsága” nem egyenlő a képességek csökkentésével: a méréseik szerint a normál képességek érintetlenek maradtak, miközben a rosszindulatú utasításoknak való ellenállás jelentősen nőtt. Ez arra utal, hogy a javulás nem egyszerű tömeges elutasításból származik, hanem célzott robosztussági fejlesztések eredménye.
Jövőkép és további tervek
OpenAI folytatni tervezi a GPT‑Red és az automata red‑teaming skálázását: további compute‑ot és adatokat használnak fel, valamint algoritmikus fejlesztéseken dolgoznak, hogy a jövőbeli GPT‑Red‑verziók erősebbek legyenek. A vállalat azt kommunikálta, hogy ezt emberi és harmadik fél általi red‑teaminggel, réteges védelmi intézkedésekkel és valós idejű monitorozással együtt alkalmazza.
Végül OpenAI bejelentette, hogy a GPT‑Red‑ről egy részletesebb preprintet tesz közzé a héten, amely több technikai részletet tartalmaz majd.
Rövid összegzés
GPT‑Red egy belső, automata red‑teamer, amelyet az OpenAI a sebezhetőségek nagyobb mennyiségű és változatosabb feltárására fejlesztett. A modellt aktívan használták a GPT‑5.6 Sol robosztusságának javítására; az eredmények szerint jelentős csökkenés tapasztalható a prompt‑injekciós hibákban, ugyanakkor a normál képességek megmaradtak. OpenAI tervezi az automata red‑teaming további skálázását és egy preprint közzétételét további részletekkel.
