Anthropic tapasztalatai a Felelős Skálázás irányelveinek gyakorlati alkalmazásáról

Anthropic május 20., 2024-én közzétett bejegyzésében visszatekintett arra, hogyan működteti gyakorlatban első Responsible Scaling Policy (RSP) nevű irányelvét, amelynek célja a világszínvonalú, „frontier” modellek katasztrofális biztonsági hibáinak és visszaéléseinek kezelése. A cég célja a dokumentum elfogadásakor az volt, hogy a magas szintű biztonsági gondolatokat működő, technikai szervezetek számára használható irányelvekké alakítsa, és bemutassa ezek alkalmazhatóságát mint lehetséges sztenderdeket. A bejegyzés a politika operacionalizálása során szerzett tapasztalatokról számol be, és előrevetíti egy frissített RSP közzétételét.

Miért volt hasznos a politika

Az Anthropic szerint a katasztrofális kockázatokra vonatkozóan világosan megfogalmazott politika struktúrát adott a szervezeti prioritások tisztázásához és a projektidővonalak, létszámigények, fenyegetésmodellek és kompromisszumok meghatározásához. A végrehajtás folyamata olyan kérdéseket, projekteket és függőségeket hozott felszínre, amelyeket másképp lassabban ismertek volna fel vagy nem kerültek volna megbeszélésre.

Ugyanakkor a szervezet kiemeli a nehézséget abban, hogy kiegyensúlyozza a szigorú elköteleződés iránti igényt azzal a ténnyel, hogy sok kérdésben még nincs végleges válasz. Egyes pontok jelentése kezdetben homályos volt, más esetekben pedig a kutatási bizonytalanságok miatt túl merev követelmények nem lennének tartósak. A vállalat reménye, hogy az iparági szereplők növekvő piaci nyomásai mellett az önkéntes elköteleződések előbb ipari bevett gyakorlatokká, majd jól megalkotott szabályozássá fejlődhetnek.

Az öt fő elköteleződés

Anthropic jelenlegi kerete öt magas szintű kötelezettség köré szerveződik:

• Red Line Capabilities megállapítása: vállalják olyan „Red Line Capabilities” azonosítását és közzétételét, amelyek a jövőbeli modellekben megjelenve túl nagy kockázatot jelentenének az akkor érvényes biztonsági és védelmi gyakorlatok (ASL-2 Standard) mellett.

• Red Line Capabilities tesztelése (Frontier Risk Evaluations): kötelezettséget vállalnak arra, hogy bizonyítják: a Red Line képességek nincsenek jelen a modellekben, vagy ha erre nem képesek, intézkednek úgy, mintha jelen lennének. Ez domain-szakértőkkel közösen tervezett empirikus teszteket jelent, amelyek megbukása erős bizonyítékot szolgáltat arra, hogy a modell elérte vagy közel áll a red line-hoz. Az értékelések folyamatát és összegzését nyilvánosan fenntartják.

• Válasz a Red Line képességekre (ASL-3 Standard): elkötelezik magukat egy új, magasabb biztonsági és védelmi szabvány — az ASL-3 — kialakítására és végrehajtására. Az ASL-3 részletes kockázatcsökkentő intézkedéseit definiálni és egy biztosítási (assurance) folyamatot kidolgozni ígérik; szükség esetén felfüggesztik a képzést vagy a telepítést, hogy a Red Line képességű modelleket csak akkor tárolják, képezzék vagy telepítsék, ha az ASL-3 alkalmazható.

• A politika iteratív kiterjesztése: amennyiben egy tevékenység ASL-3-at igényelne, előtte közzéteszik annak felső használhatósági határait — az új Red Line képességek halmazát, amelyekhez Frontier Risk Evaluations-t kell kialakítani, és amelyekhez még magasabb, ASL-4 szintre lenne szükség. Ennek része a nyilvános értékelési folyamat fenntartása.

• Biztosítási mechanizmusok: vállalják, hogy végrehajtják a politika szerinti tényleges működtetést ellenőrző mechanizmusokat (Assurance Mechanisms), amelyek stressztesztelik az értékelési folyamatot; a kockázatcsökkentő intézkedések hatékonyságát nyilvánosan vagy elfogulatlan szakértők által ellenőriztetik; a Board of Directors és a Long-Term Benefit Trust megfelelő felügyeletet gyakorol a végrehajtáson; és maga a politika is megfelelő eljárás szerint frissül.

Fenyegetésmodellezés és értékelések

A Frontier Red Team és az Alignment Science csapatok elsősorban fenyegetésmodellezéssel és domain-szakértőkkel való együttműködéssel foglalkoznak. Fő fókuszuk (a) a fenyegetésmodellek javítása annak meghatározására, mely képességek indokolnák az ASL-3 standardot, (b) együttműködés az ASL-3 vezérlőket fejlesztő csapatokkal, és (c) azon képességek feltérképezése, amelyeket még az ASL-3 sem kezelne, és amelyekre továbbra is teszteket kell építeni.

Néhány fontos megfigyelésük:

• Minden új modellgenerációnál emergens képességek jelennek meg, ezért a jövőbeli modellek tulajdonságainak előrejelzése különösen nehéz, és további fenyegetésmodellezésre van szükség.
• A szakértők között elfogadott nézet hiánya van arról, hogy mely kockázatokat előnyben részesítsék; különösen a CBRN (Chemical, Biological, Radiological, and Nuclear) területeken található nézeteltérések. Emiatt értékes különféle aldomain-szakértőkkel folytatott konzultáció.
• A fenyegetésmodellek kvantifikálása segített a prioritások eldöntésében.

A vállalat több csapata (Frontier Red Team, Alignment Science, Finetuning, Alignment Stress Testing) értékeléseket fejleszt és a módszertant javítja. Jelenleg kísérleti előtelepítési teszteket végeznek kiberbiztonság, CBRN és model autonómia területeken azon frontier modellek esetében, amelyek elérték a legutóbb tesztelt modellük számítási kapacitásának 4x-ét; a legutóbbi értékelések részleteit a Claude 3 Opus kapcsán tett jelentésük ismerteti. Ha a képzés közben elérik a fenti küszöböt, köztes tesztelést is végeznek, és a legképzettebb modellt háromhavonta újratesztelik a finomhangolási javítások figyelembevétele érdekében.

A csapatok új területeken is építik az értékeléseket, és igyekeznek a tesztelési folyamatot robusztusabbá tenni. Konkrét tanulságok:

• Gyors iterációk domain-szakértőkkel különösen hasznosak, mert segítenek felismerni, ha egy teszt nehézségi foka rosszul kalibrált vagy eltávolodott a valós fenyegetésmodellektől.
• Érdemes kihasználni és ösztönözni a növekvő külső kutatói és ipari ökoszisztémát; sok kockázat, különösen az autonómia és a nem megfelelés területein, komplex és spekulatív, ezért a belső tesztelés valószínűleg nem teljes.
• Különböző értékelési módszereknek más és más előnyei és korlátai vannak; a legmegfelelőbb módszer a fenyegetésmodelltől függ.

Az általuk említett módszerek közül:

• Kérdés-válasz adatbázisok gyorsan tervezhetők és lefuttathatók, de formátumuk miatt kevésbé tükrözik a valós kockázatokat.
• Emberi kísérletek, amelyek összehasonlítják a modellhez hozzáférő alanyok és keresőmotorokhoz nyúlók teljesítményét, értékesek a visszaélés mérésére, de időigényesek és jól dokumentált folyamatot igényelnek.
• Automatizált feladatalapú értékelések hasznosak autonóm viselkedés vizsgálatára, ám virtuális környezetek létrehozása és a biztonságos infrastruktúra komplex mérnöki feladat.
• Szakértői red-teaming és viselkedésáttekintés (transcript review) kevésbé reprodukálható, de értékes a nyitottabb, felfedező jellegű vizsgálatokhoz.

A csapatok több nyitott kutatási kérdésen fognak dolgozni a megbízható értékelési folyamat kiépítése érdekében, és Anthropic bátorítja a szélesebb kutatói közösséget további munkára ezekben a témákban.

Képességek felmérése és elérés (elicitation)

Anthropic célja, hogy bizonyítékokat gyűjtsön a modellkockázatról és megfelelő kockázatcsökkentéseket készítsen még a veszélyes küszöbök elérése előtt. Ehhez a jelenlegi bizonyítékok alapján kell előre extrapolálni a jövőbeli kockázati szintekre — ideális esetben a képességnövekedést leíró „scaling laws” simák lennének, és pontosan jeleznék, mikor jelennek meg a veszélyes képességek.

Ugyanakkor a modellek képességeit javító technikák (domain-specifikus megerősítő tanulás, prompt engineering, felügyelt finomhangolás) miatt nem garantálható, hogy a tesztelések során minden releváns képességet sikerül előcsalogatni. Ezért a jó tesztelési folyamat része az értékelések teljesítésére és az elicitation fejlesztésére tett erőfeszítés, hogy szimulálja azt a helyzetet, amikor rosszindulatú, jól felszerelt szereplők megkerülik a védelmet és hozzáférnek a modell súlyaihoz. A cég elismeri a határvonal tisztázatlanságát aközött, hogy mennyi erőfeszítés számít „felszínre hozásnak” és mikor minősül a képesség célirányos kifejlesztésének.

Az ASL-3 szabvány munkálatai

A Security, Alignment Science és Trust and Safety csapatok az ASL-3 kidolgozására koncentrálnak: olyan vezérlőket terveznek, amelyek megfelelően csökkentik annak a kockázatát, hogy modellek súlyait nem állami szereplők lophassák el, vagy hogy a modellek termékfelületeken történő visszaélése széles körben bekövetkezhessen. Az ASL-3 elegendő lehet olyan képességek kezelésére, ahol alacsony visszaélési arány is katasztrofális következményekkel járna, de nem elegendő államilag támogatott, nagy erőforrással rendelkező szereplők elleni védelemre.

Néhány megjegyzés:

• A modellek termékfelületeken való biztonságának növelésére a terveik szerint skálázzák a kutatást osztályozó modellek (classifier) terén az automatikus detekció és reagálás érdekében, és megerősítik a hagyományos trust & safety gyakorlatokat.
• Emberi visszaélés ellen a védelem több rétegű (defense-in-depth) megközelítése a leghatékonyabb: RLHF és Constitutional AI kombinációja, többszintű osztályozók a felhasználói promptoknál, modell-kimeneteknél és beszélgetésszinten, valamint incidenskezelés és jailbreak javítások.
• A biztonsági program skálázása jelentős erőfeszítést igényelt: jelenleg mintegy 8% az Anthropic alkalmazottainak száma, akik biztonsággal kapcsolatos területeken dolgoznak, és a cég várakozása szerint ez az arány nőni fog, ahogy a modellek vonzóbbá válnak a támadók számára.

A tervezett ASL-3 megvalósítása minden munkafolyamatot érintő változtatásokat követel meg, ezért a biztonsági csapat szoros együttműködést épített ki a kutató- és termékcsapatokkal, hogy megőrizze a termelékenységet miközben korszerű kiberbiztonsági kontrollokat vezet be az eszközökben. Fő fenyegetésmodelljük szerint az insider eszközkompromittálás a legmagasabb kockázati vektor, ezért többek között multi-party authorization és időben korlátozott hozzáférések bevezetésére fókuszálnak.

Mivel gyorsan változó területről van szó, nehéz előre minden kockázatcsökkentést és értékelési módszert részletezni. Anthropic szerint gyakorlatias megoldás, ha magas szintű elvárásokat vázolnak fel és egyértelmű „attestation” követelményeket állítanak fel, amelyeket a kontrollok használata előtt teljesíteni kell — például részletes kontroll-listák, elfogulatlan szakértői felülvizsgálat és igazgatósági jóváhagyás.

Biztosítási struktúrák és kormányzás

A Responsible Scaling, Alignment Stress Testing és Compliance csapatok a kormányzás, koordináció és biztosítási struktúrák kialakításán dolgoznak. Tervezik független ellenőrzési mechanizmusok fokozatos bevezetését és kockázatkezelő (Risk Manager) felvételét. Néhány észrevételük:

• A munka keresztezett és összetett jellege erős központi koordinációt kíván meg; ezért a cég folytatja a Responsible Scaling Team felépítését.
• Értékes lehet egy „második védelmi vonal” létrehozása, amely ellenadversariálisabb megközelítést tud alkalmazni a fő munkafolyamatokra. Az Alignment Stress Testing csapat már elkezdte stressztesztelni az értékeléseket, beavatkozásokat és a politika végrehajtását.
• Az Anthropic folyamatos jelentéseket nyújt az igazgatóságnak és a Long-Term Benefit Trustnak, valamint negyedéves előrehaladási összegzéseket oszt meg az alkalmazottakkal. Emellett bevezettek egy névtelen nem-megfelelés bejelentési rendszert a Responsible Scaling Officer számára.

Következtetések és további lépések

Anthropic hangsúlyozza, hogy a frontier modellek felelős képzése és telepítése komoly iparági és kormányzati befektetést igényel. Az RSP eddigi működtetése erős összekapcsoló erő volt a vállalat különböző csapatainak munkái között, és jelentős részvételt követelt meg számos területről. A cég célja, hogy a május 20-i reflektáló poszttal folytatódjon a párbeszéd a közelgő AI Seoul Summit előtt, ösztönözve más vállalatokat saját kereteik kialakítására és tapasztalataik megosztására, ami közös bevett gyakorlatok és kormányzati lépések kialakulását segítheti elő.