Anthropic vezérigazgatója, Dario Amodei egy hétvégi esszében azt javasolta, hogy az iparág legfejlettebb szereplőinél harmadik felekből álló, független értékelő csapatokat kellene beágyazni a cégek működésébe. Az elképzelés szerint ezek az értékelők jogosultak lennének biztonsági incidenseket jelenteni, megvizsgálni, hogy a modellek valóban igazodnak‑e a biztonsági normákhoz, és nyíltan, szerkesztői kontroll nélkül közzétenni megállapításaikat.
Amodei azt mondta, hogy az Anthropic hajlandó lenne például a METR és a Redwood Research típusú független értékelőknek példátlan hozzáférést biztosítani rendszereihez. OpenAI vezérigazgatója, Sam Altman szintén jelezte, hogy cége elkötelezne magát hasonló gyakorlat mellett, ami potenciálisan jelentős változás lehet abban, hogyan dolgoznak együtt a vállalatok külső kutatócsoportokkal.
Szakmai reakciók: üdvözlés, de sok részlet hiányzik
Több, a TechCrunch által megkérdezett harmadik fél‑értékelő alapvetően üdvözölte a kezdeményezést, ugyanakkor hangsúlyozták, hogy a részleteket rendezni kell — és ideális esetben jogi garanciákra van szükség. Enélkül nehéz megítélni, hogy ezek az értékelők valóban független ellenőrökként fognak‑e működni, vagy a vállalatok által diktált feltételek szerint végző külső beszállítókká válnak.
A mélyebb hozzáférés fontosságát növeli, hogy a modellek egyre jobban észlelik, amikor értékelik őket, ezért fennáll a kockázata annak, hogy a vizsgálatok idején „jó viselkedést” mutatnak, miközben problémás magatartást rejtenek el. Több kutató kiemelte: az ilyen viselkedésre utaló jelek könnyen elsikkadhatnak, ha csak a végleges, kiadandó modellt tesztelik; hasznosabb lehet a tréning során készült köztes verziók vagy „checkpointok” vizsgálata.
Mit akarnak az értékelők hozzáférni? Checkpointok, naplók és alkalmazottak meghallgatása
Az értékelők javaslata szerint nem elég a kész modellhez hozzáférni: szükség van a modell életciklusának köztes állapotaira, a tréning során keletkezett checkpointokra, a poszt‑tréning környezetre (amely jutalmazási mechanizmusokat tartalmazhat), valamint az értékelési átírásokra és naplókra, hogy meg lehessen határozni, mikor és hogyan jelentek meg a problémás viselkedések.
FAR.AI vezérigazgatója, Adam Gleave arra hívta fel a figyelmet, hogy az értékelők számára hasznos hozzáférés kiterjedhetne a belső interjúkra is: az alkalmazottak meghallgatása segíthet ellenőrizni, hogy a vállalat dokumentációja és nyilvános állításai megfelelnek‑e a belső gyakorlatnak.
A gyakorlatban kevés a konkrétum
Bár Amodei részletes javaslatot vázolt fel, beleértve az értékelők jogát arra, hogy „közzétegyék a kockázati szintekkel, incidensekkel, gyakorlatokkal és az általuk kapott vagy el nem kapott hozzáféréssel kapcsolatos kulcsfontosságú megállapításaikat — Anthropic szerkesztői kontrollja nélkül”, a techcégek eddig nem közöltek konkrét részleteket. Nem világos, hogy pontosan mely értékelőkkel dolgoznának együtt, mikor történne a beágyazás, hány értékelőt vennének fel, milyen rendszerekhez és információkhoz férnének hozzá, illetve mit lehetne nyilvánosságra hozni.
Korábbi tapasztalatok alapján az értékelők aggódnak amiatt, hogy a cégek nehezen mondanak le a kontrollról. Többször felmerültek feszültségek a hozzáférés, az időkeret, a titoktartás és a közzététel körül; egyes fejlesztők olyan szerződési feltételeket kínáltak, amelyek erősen korlátozták az értékelők függetlenségét.
Rövid időablakok és korlátozott vizsgálatok példái
A múltban több vizsgálat rávilágított arra, hogy a vizsgálati idő rövidsége és a korlátozott hozzáférés akadályozza a megbízható következtetések levonását. Az OpenAI a Hugging Face‑hez kapcsolódó incidens vizsgálatánál a METR‑nek és a Redwoodnak körülbelül egy hetet adott helyszíni vizsgálatra; mindkét csoport később azt jelezte, hogy a korlátozott idő és a hatókör miatt nem tudtak magabiztos következtetéseket levonni.
Hasonló problémát tapasztaltak a GPT‑6 Astra előzetes tesztelésénél is: az OpenAI által a modell leginkább „igazodottnak” hirdetett változatához a jelentés szerint az Apollo Research csak három napot kapott tesztelésre, ami megnehezítette a határozott következtetések levonását. Az Apollo Research ez alapján arra hívta fel a figyelmet, hogy a rövid tesztidő és az értékelési éberség növekedése miatt az alacsony hibaarányok önmagukban nem feltétlenül bizonyítják a modell igazodottságát.
Szükség van jogi háttérre és átlátható normákra
Számos kutató átlátható, közösen elfogadott keretrendszer létrehozását javasolta, amely szabványokat határoz meg az értékelők kiválasztására, a hozzáférés mértékére és a közzétételre. Henry Papadatos, a Safer AI ügyvezető igazgatója azt hangsúlyozta, hogy a jogszabályok fontosak lennének: önkéntes megállapodások ugyanis mindig a vállalat jóindulatára támaszkodnak, míg kötelező előírások megakadályoznák, hogy egy cég „másnap” visszalépjen a vállalásaitól egy válság esetén.
Példák a szabályozási kezdeményezésekre: Kaliforniában a tavaly aláírt SB 53 előírja, hogy a nagy frontier AI fejlesztők tegyenek közzé biztonsági keretrendszereket és jelentsék a kritikus biztonsági incidenseket. Az idén aláírt SB 813 pedig létrehoz egy állami elismerésű, „független ellenőrző szervezetek” rendszerét, amelyek szakértelemmel tudnak AI‑kockázatokat értékelni. Európában az EU AI Act előírja, hogy a frontier fejlesztők végezzenek és dokumentáljanak modellértékeléseket és támadó (adverzári) teszteket, valamint jelentsék a súlyos incidenseket; az EU AI Office maga is végezhet értékeléseket és független szakértőket nevezhet ki.
Kik nem ígértek eddig csatlakozást?
Eddig a Meta, a SpaceXAI és a Google DeepMind nem vállalt kötelezettséget a beágyazott értékelők elfogadására. A DeepMind vezérigazgatója, Demis Hassabis ugyanakkor egy külön iparági szabványtestület létrehozását javasolta a frontier modellek független tesztelésére. Ugyanakkor a Google, az OpenAI és az Anthropic belsőleg hetek óta folytat megbeszéléseket a biztonsági tervekről.
Összefoglalás: jó irány, de a részleteken múlik a valódi függetlenség
Az Amodei‑féle javaslat új lendületet adhat az AI‑biztonsági ellenőrzésnek azáltal, hogy előírná a külső szereplők mélyebb hozzáférését és a közzététel jogát. Az értékelők örömmel fogadták a kezdeményezést, ugyanakkor ismételték: a gyakorlatban a függetlenség akkor lesz biztosított, ha a hozzáférést, időt és közzétételt nem a vállalatok feltételei határozzák meg — ideálisan jogi garanciák vagy szigorú, nyilvános keretrendszer révén.
