Biztonság

Mesterséges intelligenciával generált szöveg

Az OpenAI szigorítja modelljei védelmét a jogosulatlan képességátvétel ellen

Az OpenAI új védelmi intézkedéseket ismertetett a mesterségesintelligencia-modellek jogosulatlan desztillációjának visszaszorítására.

Az OpenAI szigorítja modelljei védelmét a jogosulatlan képességátvétel ellen

Az OpenAI szigorította modelljei védelmét az olyan jogosulatlan desztillációval szemben, amelynek során egy szereplő egy fejlett modell kimeneteiből tanít be egy másikat, majd azt gyengébb biztonsági korlátokkal használja. A vállalat szerint ez lehetővé teheti olyan képességek átvételét, amelyeket az eredeti modell csak korlátozások mellett alkalmazna.

A kockázat különösen a kettős felhasználású területeken jelentős. Egy szoftverhibák feltárására használt modell tudása támadásokhoz is hasznos lehet, ahogy a biológiai kutatást segítő képességek is alkalmazhatók káros kórokozó fejlesztésére. Az OpenAI példaként említi, hogy egy desztillált modell olyan kibertámadáshoz adhat segítséget, amelyet az eredeti modell vagy annak biztonsági rendszere elutasított volna.

A belső gondolatmenet védelme

A desztilláció önmagában bevett gépi tanulási eljárás: egy modell egy másik válaszaiból, következtetéseiből vagy az általa adott értékelésekből tanul. Az OpenAI szerint a jogosulatlan alkalmazás a szellemi tulajdonon túl biztonsági problémát is jelent, mert a tanuló modell átveheti a képességeket anélkül, hogy az eredeti védelmi szabályait is örökölné.

A vállalat különösen a védett belső gondolatmenet, az úgynevezett chain-of-thought kiszivárgását igyekszik megakadályozni. Ezek a válasz kidolgozása közben keletkező köztes lépések olyan információkat tartalmazhatnak, amelyek a végső válaszból kimaradnak, így értékes tanítóadatot jelenthetnek.

Az OpenAI közlése szerint a GPT‑6.2 Astra és a GPT‑6.2 Sol esetében megerősítette ezt a védelmet. Egy belső, automatizált támadótesztben azt vizsgálták, visszaszerezhető-e egy korábbi kérés megválaszolásakor keletkezett gondolatmenet. Az átlagos támadási sikerarány a korábbi védelmével működő GPT‑6 Astra esetében mért 54,0 százalékról a frissített védelmű GPT‑6.2 Astra esetében 0,2 százalékra csökkent.

Mit mutatott a kiberbiztonsági vizsgálat?

Az OpenAI belső kutatásban mérte fel, mennyi kiberbiztonsági képesség adható át a pontos gondolatmenetekkel. A tanító modell kódolási és védekező kiberbiztonsági feladatokat oldott meg; a tanuló modellek összehasonlításánál a felhasználók számára rendszerint látható végső válaszok, gondolatmenet-összefoglalók és eszközhasználati interakciók szolgáltak alapul.

Minden tanítás ugyanabból az előtanított tanuló modellből indult. A felügyelt finomhangoláshoz használt adatok főként Astra-szintű tanító modellek teljes feladatmegoldási folyamataiból álltak, beleértve az eszközhasználatot és a végső választ. A modelleket a finomhangolás után, majd egy könnyített, kódolási és kiberbiztonsági környezetben végzett megerősítéses tanulási szakaszt követően is értékelték.

A finomhangolás után a pontos gondolatmeneteken tanított modell általában jobban teljesített, mint az összefoglalókból tanuló változat. A megerősítéses tanulást követően a pontos nyomvonalakat használó modell a két bemutatott teszten a legnagyobb vizsgált következtetési keret mellett továbbra is jobb eredményt ért el, kisebb kereteknél viszont az összefoglalókon tanított modell szerepelt jobban.

A vállalat szerint az eredmények arra utalnak, hogy a gondolatmenetek védelme mérsékelheti a kiberképességek átadását akkor is, ha az eredeti feladat megengedett. Az OpenAI további modellekkel és tanítási módszerekkel is vizsgálni kívánja a jelenséget. Hozzátette: az Anthropic korábban a SWE-bench Verified szoftverfejlesztési teszten talált hasonló előnyt a teljes gondolatmenet-átiratok használatánál.

Többrétegű védelem és tesztelés

A vállalat egyszerre védekezik az egyes kérések és a szervezett kampányok szintjén. A modelleket ellenséges példákkal tanítja arra, hogy felismerjék a védett gondolatmenet kinyerésére irányuló kísérleteket, miközben a jogos magyarázatkérésekre továbbra is válaszoljanak. A tanításhoz belső támadótesztekből, vizsgálatokból és külső kutatók vagy iparági partnerek felelős hibabejelentéseiből származó példákat használ.

A bemeneti osztályozók a kinyerési kísérleteket, a kimenetiek pedig a válaszokban és az eszközhívások argumentumaiban megjelenő szivárgást keresik, folyamatosan továbbított és nem folyamatos válaszok esetén is. Az eszközhívások ellenőrzése azért fontos, mert a modell ott is felfedheti a gondolatmenetet, ha a végső válaszban nem teszi. A gyanús tartalom blokkolható, mielőtt eljutna a hívó félhez.

Az API-szintű korlátozások azt szabályozzák, miként használható fel újra a védett gondolatmenet a beszélgetések és modellek között. Az OpenAI szeptemberi közlése olyan támadásokat ismertetett, amelyek titkosított gondolatmenetet vittek át egyik beszélgetésből a másikba, majd annak olvasható felfedését kérték. A vállalat felhasználói, munkaterületi, szervezeti és modellcsalád-határokon is erősítette a védelmet, és megszüntetett egy másik felhasználó titkosított gondolatmenetéhez vezető hozzáférési utat.

A GPT‑6.2 Astra és a GPT‑6.2 Sol esetében a védett gondolatmenetet az azt létrehozó beszélgetés előzményeihez kötik. Új üzenetek hozzáadásakor a modell építhet korábbi gondolatmenetére, de egy korábbi üzenet átírásakor az API eldobja az azt követően keletkezett gondolatmenetet. A régebbi, gyengébb védelmű modellcsaládok sem olvashatják a két új modell védett gondolatmenetét.

A tesztelés során a vállalat korábban sikeres támadásokat játszik vissza, valamint olyan automatizált támadókat is alkalmaz, amelyek a rendszer válaszaihoz igazítják módszereiket. A tesztelők egy része csak a külső felhasználók számára látható információkat kapja meg, mások további rendszerinformációk alapján dolgozhatnak.

Az adaptív, külső nézőpontú vizsgálatban a GPT‑6.2 Astra frissített védelme mellett egyaránt 1 százalék alatt maradt az átlagos sikerarány a korábbi és az aktuális kéréshez tartozó gondolatmenet kinyerésére irányuló támadásoknál. Az OpenAI szerint mindkét érték jóval alacsonyabb volt, mint az eredeti védelmű GPT‑6 Astra esetében; a vállalat egyes fejlesztéseket erre a modellre is kiterjeszt.

Kampányok és szakpolitikai álláspont

Az OpenAI szerint az év során több jogosulatlan desztillációs kampányt észlelt a platformján. A heti fellépések több ezer és több tízezer fiók közötti nagyságrendet érintettek, és a gyakoriságuk az elmúlt nyáron jelentősen nőtt. A vállalat a visszaélés elterjedtségét, valamint az észlelés és a fellépés közötti időt is méri; célja a megszerezhető adatok mennyiségének és értékének csökkentése, illetve a támadások költségének növelése.

A vizsgálatokból nyert tapasztalatokat a védelem fejlesztésére használja, és a kompromittálódásra utaló jelzéseket más modellszolgáltatókkal is megosztja. Partnereivel közös védelmi és fellépési követelményeket alkalmaz az OpenAI modelljeit használó szolgáltatásokban.

A vállalat nemzetbiztonsági kockázatot is lát abban, ha külföldi szereplők amerikai modellek képességeit reprodukálják. Közlése szerint februárban tájékoztatta az amerikai kongresszust olyan tevékenységről, amely arra utalt, hogy a DeepSeek amerikai élvonalbeli modelleket próbált desztillálni. Szeptemberben egy védett gondolatmenetek kinyerésére irányuló kampány megzavarásáról számolt be, amelynek egy lényeges részét a Kimi fejlesztőjéhez, a Moonshot AI-hoz kötődő személyeknek tulajdonította.

Az OpenAI támogatja, hogy az amerikai kormány több eszközt kapjon a külföldi elkövetők azonosítására és szankcionálására, valamint közölte a kongresszussal, hogy támogatja a Chip Security Act, az AI OVERWATCH Act és a MATCH Act jogszabályokat. Álláspontja szerint az exportkorlátozások és a desztilláció elleni védelem kiegészítik egymást: előbbiek a fejlett modellek tanításához szükséges hardverhez való hozzáférést korlátozhatják, utóbbiak pedig a már betanított modellek képességeinek átvételét nehezítik.

Ajánlások más fejlesztőknek

Az OpenAI azt javasolja az iparágnak, hogy a teljes interakció során védje a privát gondolatmenetet, beleértve az eszközhívásokat és a titkosított adatok újrafelhasználását is. A sikeres támadások naplóit érdemes ismételt ellenőrzésekhez megőrizni, és az adatvédelmi szabályokkal összhangban a tanítás és az osztályozók javítására felhasználni. A vállalat emellett az adaptív tesztelést, a kampányszintű vizsgálatok és az egyedi kérések védelmének összekapcsolását, valamint a partnerek közötti összehangolt fellépést ajánlja.

Az OpenAI szerint korábban a Frontier Model Forumon és megfelelő kormányzati információmegosztási csatornákon keresztül is megosztott tapasztalatokat, anélkül hogy a támadók által kihasználható részleteket nyilvánosságra hozta volna.