Anthropic 2024. március 25‑én közzétett álláspontja szerint az AI‑ágazatnak hatékony, független harmadik fél általi tesztelésre van szüksége a nagy számítási erőforrást igénylő, „frontier” generatív modellek esetén. A vállalat hangsúlyozza, hogy ilyen tesztelési rendszer kidolgozása az ipar, a kormányzat és az akadémia bevonásával csökkentheti az AI‑rendszerek szándékos vagy véletlen társadalmi kár okozásának esélyét.
Miért fontos a harmadik fél általi tesztelés?
Anthropic érvelése szerint a mai legfejlettebb modellek — például Claude (Anthropic), ChatGPT és Google Gemini — nem illeszthetők jól a hagyományos, ágazat‑specifikus szabályozási keretekbe, mivel számos különböző alkalmazásra adaptálhatók. Emiatt a downstream alkalmazások viselkedése örökli a frontier modell képességeit és gyengeségeit. Mivel ezek a rendszerek komoly visszaélésekre vagy balesetekre adhatnak lehetőséget, szükséges egy független értékelési mechanizmus, amelyet széles körben elfogadnak és amely minden frontvonalon fejlesztett rendszert lefedhet.
Anthropic szerint a harmadik fél általi tesztelés azért is fontos, mert a technológia fejlődése során megjelenhetnek váratlan, emergens viselkedések (például sebezhetőségek beillesztése kódba vagy emberi szándékkal ellentétes lépések végrehajtása összetett feladatok során), amelyek méréséhez és felügyeletéhez külön eszközök kellenek.
Mit kell tudnia egy robusztus tesztelési rendszernek?
A cég szerint egy hatékony harmadik fél általi tesztelési rendszernek a következő tulajdonságai vannak:
- növelje a közbizalmat az AI‑rendszerek iránt;
- legyen pontosan körülhatárolt, hogy a vizsgálatok ne tegyék lehetetlenné a kis szereplők részvételét;
- vonatkozzon csak a legnagyobb, számításigényes rendszerekre, így a legtöbb AI‑termék kívül esne a kötelezettségen;
- lehetővé tegye országok közötti együttműködést közös szabványok és kölcsönös elismerési megállapodások kísérletezése révén.
A javasolt rendszer kulcsösszetevői: megbízható, széles körben elfogadott tesztek a viselkedés és a potenciális visszaélések mérésére, valamint legitim harmadik felek, akik ezeket a teszteket lefolytatják és auditálják a vállalati vizsgálati eljárásokat.
Gyakorlati elemek és mintafolyamatok
Anthropic kétlépcsős tesztelési modellt javasol: első, gyors, automatizált szűrés, amely széles körben lefedi a potenciális kockázatokat és a hamis negatívokat minimalizálja; ha ez problémát jelez, következzen egy részletesebb, szakértői humán‑irányítású másodlagos vizsgálat. Javasolják továbbá egy kezdeti gyakorlat‑időszakot, amikor a vállalatok kipróbálhatják a teszteket, néha harmadik fél felügyeletével, hogy a módszerek validálhatók és kivitelezhetők legyenek.
Külön figyelmet fordítanak a nemzetbiztonsági kockázatokra: be kell azonosítani azokat a képességeket (például biológiai fegyverek előállításának felgyorsítása vagy összetett kibertámadások kidolgozása), amelyek súlyosan veszélyeztethetik a nemzetbiztonságot, és célzott teszteket kell futtatni ezekre. Ha egy modell ilyen képességeket mutat, az deployment‑politikát (például képességek eltávolítása vagy ügyfélazonosítási korlátok) ennek megfelelően módosítani kell, és a releváns kormányzati szerveknek tájékoztatást kell adni.
Kik végezhetik a teszteket?
Anthropic három fő kategóriát lát:
- magáncégek: a vállalatok alvállalkozókat bízhatnak meg vizsgálatok készítésével (példaként említik a Gryphon Scientificet);
- egyetemek: akadémiai intézmények kutatócsoportjai részben vagy teljesen részt vehetnek értékelési kezdeményezésekben;
- kormányok: bizonyos, elsősorban nemzetbiztonsági jellegű teszteket jogszabály alapján kormányzati szervek végezhetnek el.
A harmadik fél tesztelésének ekoszisztémája többféle szereplőből fog állni, és a struktúrája az idő előrehaladtával alakul ki — ezért szükséges még ma elkezdeni a kísérletezést.
Anthropic saját szerepe és javasolt kormányzati intézkedések
Anthropic saját felelősségvállalásként működteti a Responsible Scaling Policy (RSP) nevű önszabályozó keretét, amely szerint a vállalat teszteli a Claude‑hoz hasonló frontier rendszereket visszaélések és balesetek kockázataira, és csak azokat a modelleket telepíti széles körben, amelyek megfelelnek a biztonsági vizsgálatoknak. Ugyanakkor a cég elismeri, hogy önmagában az iparági önszabályozás nem elég — a tesztelésnek széles körben megbízhatónak és minden fejlesztőre kiterjedőnek kell lennie.
A támogatásuk konkrét elemei között szerepelnek:
- saját RSP‑alapú prototípusok futtatása és tapasztalatok megosztása;
- harmadik fél általi értékelések tesztelése alvállalkozókkal és kormányzati partnerekkel;
- a frontier red‑teaming tevékenység mélyítése;
- kormányzati intézmények finanszírozásának szorgalmazása (például az Egyesült Államokban NIST, US AI Safety Institute, National AI Research Resource és a DoE szuperszámítógépeinek használata AI‑tesztelésre);
- nemzeti kutatási felhők (pl. National AI Research Resource) létrehozásának ösztönzése, hogy az akadémia és a kormányzat független kapacitást építhessenek és saját teszteket fejleszthessenek.
A tesztelés kapcsolata más AI‑politikai kérdésekkel
Anthropic visszatérően foglalkozik az open‑source modellek kérdésével és a szabályozási elfoglalás (regulatory capture) kockázatával. A vállalat úgy látja, hogy a tudományos fejlődéshez fontos a nyitottság, ugyanakkor a jövőben nehéz lehet összeegyeztetni a teljes nyílt terjesztés kultúráját a társadalmi biztonsággal, ha a modellek egyre veszélyesebbé válnak.
Ezért szükség lehet arra, hogy a fejlesztők biztonsági garanciákat adjanak — például visszaélés‑detektáló osztályozókat vagy a finomhangolás ‘know your customer’ korlátját —, mielőtt nyilvánosságra hoznák a frontier rendszerek súlyait. Ugyanakkor Anthropic elismeri, hogy nem semleges szereplő ebben a vitában, ezért legitim harmadik felek által elfogadott tesztek és meghatározások kellenek a nem megengedett visszaélésekről.
A szabályozási elfoglalás elleni érvek között Anthropic hangsúlyozza, hogy egy sokszereplős, harmadik fél alapú tesztelési rendszer csökkentheti annak esélyét, hogy a nagy, jól tőkeerős cégek torzítsák a szabályozást olyan kötelezettségekkel, amelyek aránytalanul nagy terhet rónának a kisebb szereplőkre.
Összegzés
Anthropic szerint a harmadik fél általi tesztelési ökoszisztéma kiépítése alapvető lépés a frontier AI‑rendszerek biztonságos alkalmazása felé. A vállalat javaslata gyakorlati elemeket és intézményi szerepeket ír le — a gyors automatizált szűréstől a részletes, szakértői vizsgálatokig —, és aktív támogatást ajánl kormányzati finanszírozás, kutatási infrastruktúra és saját tesztelési tapasztalatok megosztása révén. A cél egy olyan, széles körben elfogadott és fenntartható tesztelési rendszer kialakítása, amely egyaránt csökkenti a súlyos visszaélések és balesetek kockázatát, valamint elősegíti az innovációhoz szükséges versenyképes környezetet.
