Az elmúlt hetekben két esemény fokozta annak az érzését, hogy a képességeiben gyorsan fejlődő mesterséges intelligencia rendszerek kockázatai nőnek: az OpenAI–Hugging Face incidens, valamint előzetes bizonyítékok arra vonatkozóan, hogy az egyik közelgő modellünk, Astra, elérheti a Critical (kritikus) kibervédelmi képességi küszöböt a Preparedness Frameworkünk szerint. Ezek az események, valamint belső kutatásaink gyors előrehaladása sürgetővé tették a megfigyelési, igazítási (alignment) és tartalmazási (containment) védelmi intézkedéseink megerősítését a tanítási folyamat minden szakaszában.
Mivel a modellek egyre képzettebbé válnak, a fejlesztésük és belső tesztelésük kockázatai is növekednek. A monitorozásra, igazításra és biztonságra vonatkozó normáinknak előre kell futniuk ezeken a kockázatokon. Ennek érdekében ideiglenesen lelassítottuk a skálázás ütemét, hogy elegendő időnk legyen a standardok elérésére. Ez magában foglalta a legújabb, telepítésre szánt modellek megerősítéses tanításának (reinforcement learning, RL) kéthetes szüneteltetését, miközben tovább erősítettük és vörös csapatokkal teszteltük a kutatási környezeteket, valamint kiterjesztettük a megfigyelőrendszerek lefedettségét. A legnagyobb tervezett frontier RL-futtatásunk továbbra is szünetel: kisebb léptékű tanításokkal és értékelésekkel vizsgáljuk a modellviselkedést, validáljuk a védelmi intézkedéseket, és több bizonyítékot gyűjtünk az igazításról, mielőtt folytatnánk.
Az igazítás — az a munka, amelynek célja, hogy az AI-rendszerek a szándékolt módon viselkedjenek és reagáljanak az emberi felügyeletre — régóta a kutatási programunk központi eleme. Mostantól erősebb bizonyítékot követelünk meg az igazított viselkedésről a tanítás minden szakaszában, a már folyamatban lévő kutatásokra és értékelésekre építve. Az egyre képességesebb rendszerek igazítása olyan kihívás, amelyet az egész szakterületnek kezelnie kell. A közelgő modellfejlődésből érkező jelzések egyértelművé tették, hogy szélesebb megközelítésre van szükség — olyasmire, amely kibővíti és továbbviszi a jelenlegi Preparedness Framework kereteit.
Fontosnak tartjuk az átláthatóságot a megközelítésünk változásával kapcsolatban. Az alábbiakban ismertetjük a kutatási folyamatainkban és infrastruktúránkban már bevezetett változtatásokat, illetve azokat a munkákat, amelyek még folyamatban vannak.
A képességesebb modellek fejlesztéséhez három egymást erősítő védelmi rétegre építünk:
- megerősített biztonsági környezetek és üzemeltetési normák;
- többlépcsős megfigyelés és gyors reagálás;
- kiterjesztett igazítási módszerek a tanítás több szakaszában.
Ezeket a védelmeket a kutatás és a telepítés során egyaránt alkalmazzuk, az egyes modellek képességeihez, működési környezetéhez és kockázati szintjéhez igazítva.
Ahogy a frontier modellek erősebb kibervédelmi képességeket mutatnak, megemeltük azoknak a környezeteknek a biztonsági követelményeit, amelyekben ezeket a modelleket tanítjuk és értékeljük. Ezen követelmények teljesítése jelentős mérnöki munkát igényelt, és költséget, valamint késéseket okozott a frontier kutatásban. Az OpenAI–Hugging Face incidens közvetlenül azt követően felfüggesztettük a frontier modellinferenciát a kutatási fürtökben azokra a futtatásokra, amelyek képesek kódot végrehajtani vagy eszközöket használni, amelyek internetelérést biztosíthatnak. Viszonylag gyorsan visszaállítottunk egy szűkebb, biztonságosabb kódvégrehajtási lehetőséget, majd munkaterhelésenként átvizsgáltuk, hogy melyik folytatható biztonságosan. Néhány kutatási munkaterhelés új, szigorúbb kontrollok mellett folytatódott, mások további változtatásokat igényeltek.
A következő hetekben meghatároztuk és megkezdtük a frontier kutatási munkaterhelések erősebb biztonsági követelményeinek bevezetését. Ez a folyamat több ponton erősíti a védelmet, beleértve a kutatási környezetek megerősítését, a vörös csapatokkal végzett tesztelést és a megfigyelőrendszerek kiterjesztését. Ma a legszigorúbb biztonsági intézkedéseket azoknál a munkaterheléseknél követeljük meg, amelyek Astra-val vagy egyéb kibermodellekkel foglalkoznak, mivel megállapítottuk, hogy az Astra modellek esetleg kritikus szintű kibervédelmi képességekkel rendelkezhetnek. Ezek a védelmek minden más, kiberrel kapcsolatos munkaterhelésre is vonatkoznak.
Bár néhány Astra-val kapcsolatos tanítás és értékelés megfelel ezeknek az új követelményeknek, jelentős számú munkaterhelés továbbra is szünetel, amíg teljes mértékben át nem migráljuk és nem egészítjük ki őket az új biztonsági szint eléréséhez. Elsőként a biztonsági és igazítási munkákat priorizáljuk az új környezetekbe történő áthelyezéskor.
A megfigyelés mindig is fontos része volt a modellfejlesztési folyamatunknak, beleértve a belső kódolási ügynökök és hosszú futású munkamenetek monitorozását. Különösen a frontier modellek belső telepítéseire és a frontier RL-futtatásokra összpontosítottunk, mivel ezeket tartottuk a legkockázatosabb munkaterheléseknek: ezek ötvözhetik a fejlett modellképességeket eszközhozzáféréssel, érzékeny rendszerekkel és hálózatokkal. A korábbi gyakorlat során a monitorozás nem terjedt ki az összes eszközt használó inferencia- és tanítási futtatásra. Ezt a megközelítést most felülvizsgáltuk és kiterjesztettük egy új monitorozási felépítéssel.
Az új monitorozási rendszer többlépcsős: aktivációs osztályozókat (azaz a modell belső aktivitását vizsgáló detektorokat) futtatunk minden mintavételezett tokennél, és a potenciális aggályokat egyre kifinomultabb, nagyobb számításigényű automatizált vizsgálóknak továbbítjuk. Ezek a rendszerek megvizsgálják az eszközhasználatot, az elérhető érvényesítést és a teljes tevékenységsorozatot illetéktelen hozzáférés, adatlopás, destruktív viselkedés és a védelmi intézkedések kijátszásának kísérletei szempontjából. Célunk, hogy a monitorozási rendszerben felmerülő aggályok esetén 30 percen belül riasztást adjunk ki. Ha a rendszer egy kritikus biztonsági határ valószínű megsértését észleli, legmagasabb prioritású riasztást generál: a jelenlegi megoldásban a biztonsági, védelmi és kutatási csapatok kapnak jelzést. Ha ezek a csapatok 30 percen belül nem tudják egyértelműen kizárni, hogy hamis pozitív jelzésről van szó, akkor a várakozás elvárása szerint a szóban forgó tevékenységet szüneteltetni kell.
Ez a megfigyelés kötelező minden olyan RL-tanításra és értékelésre, amely eszközhasználatot tartalmaz és Sol képességű vagy annál fejlettebb modellekkel zajlik. Miután megállapítottuk, hogy az Astra esetleg kritikus kibervédelmi képességekkel rendelkezik (ez a megállapítás 2026. augusztus 7-én került be a belső munkanaplóba), további követelményként bevezettük a monitorozást minden Astra-inferenciára eszközhasználat esetén (nem csak az RL-tanításra és értékelésekre).
Ezek a védelmek jelentős számítási kapacitást igényelnek. Jelen becsléseink szerint a monitorozás körülbelül 20%-os többletterhelést jelent az adott inferencia számítási költségekre vetítve, bár a költség munkaterhelésenként jelentősen változik. Erről a rendszerről további részleteket egy közelgő blogbejegyzésben osztunk meg.
Az igazítási kutatás a küldetésünk központi eleme. Küldetésünk, hogy a mesterséges általános intelligencia (AGI) minden emberiség számára előnyös legyen. Ahogy a modellek fejlettebb képességeket szereznek — például a kibertámadási képességet — és összetettebb környezetekben működnek, a nem igazított viselkedések, mint a jutalomkihasználás (reward hacking), megtévesztés vagy jogosulatlan hozzáférés egyre súlyosabb kockázatot jelentenek.
A legképzettebb modellek RL-futtatásainál mostantól alapvető igazítási technikáinkat a tanítás több szakaszára kiterjesztjük. Ez magában foglalja a jutalommodellek javítását, hogy jobban észleljék és elriasszák a nem biztonságos viselkedést feladatok és környezetek szélesebb körében; a modellek tréningjét az őszinteségre az akciókkal, képességekkel és korlátokkal kapcsolatban; valamint a jutalom-, grader-, eszköz- vagy felügyeleti gyengeségeket kihasználó viselkedések csökkentését. Növeljük továbbá azon viselkedésekre irányuló képzési lefedettséget, amelyek kárt okozhatnak, amikor a modellek külső rendszerekkel vagy erőforrásokkal lépnek kapcsolatba.
Továbbra is agresszíven fektetünk be az igazítási kutatásokba, növeljük az értékelési lefedettséget, és a tanultakat felhasználjuk a tréningek és a védelmi intézkedések alakítására. A közeljövőben jóval részletesebben ismertetjük az igazítási kutatásainkat, beleértve a modellviselkedésről és az esetlegesen feltárt új kihívásokról szerzett tapasztalatokat.
A Preparedness Frameworkünket tovább fejlesztjük, hogy ezek a védelmek a tanításon és a telepítésen át összekapcsolódjanak, és jobban tükrözzék a jövőbeni modellek képességeit és a működési környezeteket. Olyan módszerek fejlesztésére van szükség, amelyek a képességgel együtt skálázhatók; ez tartós beruházást igényel a modellsegített biztonságba, hatékonyabb monitorozásba és az igazítás további előrelépésébe. Szándékunkban áll külső szervezeteket bevonni és többet megosztani a tanultakból, ahogy a megközelítésünk fejlődik.
A frontier modellek képességei gyorsan gyorsulnak. A megértésre, igazításra és biztosításra irányuló képességünknek előre kell haladnia azokénál.
Technikai jelentés a tanulságainkról a következő hetekben lesz közzétéve.
