Anthropic 2024. július 1-jén bejelentette, hogy finanszírozási kezdeményezést indít harmadik fél által készített, nagyobb modellképességeket és biztonsági kockázatokat mérő értékelések fejlesztésére. A cél az, hogy bővítsék és magasabb színvonalra emeljék a független értékelési ökoszisztémát, amely elengedhetetlen a fejlett AI‑modellek képességeinek és veszélyeinek megbízható felméréséhez.
Miért indítják a kezdeményezést
A vállalat szerint a jelenlegi értékelési paletta korlátozott: nehéz magas minőségű, biztonság szempontjából releváns teszteket létrehozni, és a kereslet gyorsabban nő, mint a rendelkezésre álló kínálat. Ennek orvoslására Anthropic olyan külső szervezeteket kíván támogatni pénzügyi forrásokkal, amelyek képesek olyan értékeléseket készíteni, amelyek megbízhatóan mérik a fejlett képességeket és azok lehetséges kockázatait. A támogatás célja az egész AI‑biztonsági közösség eszköztárának bővítése.
Elsődleges fókuszterületek
A program három fő területre koncentrál:
AI Safety Level (ASL) értékelések
Anthropic különös figyelmet fordít azokra az értékelésekre, amelyek az ő Responsible Scaling Policy dokumentumban definiált AI Safety Level (ASL) szintek mérését segítik. Ezek a szintek határozzák meg a modellekre vonatkozó biztonsági és védelmi követelményeket bizonyos képességek esetén. Kiemelt témák:
-
Cybersecurity: olyan tesztek, amelyek felmérik, hogy a modellek mennyire képesek támogatni vagy önállóan végrehajtani kiberműveleteket a kifinomult fenyegető szereplők szintjén. Külön érdeklődésre tartanak számot a sebezhetőség‑felismerés, exploit fejlesztés és laterális mozgás kritikus pontjai. Ideális értékelések például új Capture The Flag (CTF) jellegű kihívások lennének, amelyekre nem létezik nyilvános megoldás.
-
CBRN (kémiai, biológiai, radiológiai és nukleáris) kockázatok: olyan vizsgálatok, amelyek két szempontot mérnek: (a) a modellek mennyiben növelik nem‑szakértők vagy szakértők képességeit CBRN‑fenyegetések létrehozásában, és (b) képesek‑e a modellek új, potenciálisan veszélyesebb CBRN‑terveket előállítani. A pályázóknak külön figyelmet kell fordítaniuk arra, hogy az értékelés valóban a reális, katasztrofális kockázatokat mérje.
-
Modellautonómia: értékelések, amelyek a modellek autonóm működési képességeit mérik, három területen: AI‑kutatás és fejlesztés (kutatási mérnöki feladatok elvégzése különböző szinteken), fejlett autonóm viselkedések (lásd a Responsible Scaling Policy‑ban és a METR nyilvános feladatsorában található Autonomous Capabilities értékeléseket), valamint önreprodukció és adaptáció (számítási és pénzügyi erőforrások megszerzése vagy súlyok exfiltrálása).
-
Egyéb nemzetbiztonsági kockázatok: Anthropic egy korai riasztó rendszert szeretne fejleszteni az állami és nem állami szereplők biztonságát érintő komplex, feltörekvő kockázatok felmérésére. A kényes terület miatt a pályázatban pontosan definiálni kell a fenyegetési modelleket és az ezekhez kapcsolódó mérhető értékelési mutatókat.
-
Szociális manipuláció: olyan értékelések, amelyek a modellek meggyőzési és manipulációs képességeit vizsgálják, például dezinformáció és befolyásolás terén. Kihívás itt egy robusztus elmélet kidolgozása arról, hogyan növeli ezeknek a képességeknek valós világban a kockázatát, és hogyan lehet izolálni a modell önálló hozzájárulását.
-
Nem‑összehangoltsági (misalignment) kockázatok: Anthropic kutatásai szerint bizonyos körülmények között a modellek veszélyes célokat tanulhatnak meg, megtarthatják azokat a biztonsági tréning után is, és képesek lehetnek megtéveszteni emberi felhasználókat. Az értékelések célja az ilyen készségek megfigyelése és monitorozása.
Fejlett képesség‑ és biztonsági metrikák
Az ASL‑értékeléseken túl Anthropic olyan metrikákat és teszteket szeretne támogatni, amelyek átfogóbb képet adnak a modellek erősségeiről és kockázatairól. Kiemelt területek:
-
Fejlett tudomány: a Google‑Proof Q&A (GPQA) jellegű munkákra építve Anthropic több tízezer új kérdés és end‑to‑end feladat kidolgozását támogatná, amelyek nehézsége akár graduális kutatói szintet is megközelíthet. Témák között szerepel a tudás szintetizálása, graduális tudás a meglévő tréningadatokon túl, autonóm kutatási projektek végrehajtása, új hipotézisek és tervek generálása, laborban előforduló protokollok hibakeresése, tacit tudás és hosszú távú, döntésigényes feladatok.
-
Ártalomdetektálás és elutasítások: jobb osztályozókra van szükség, amelyek megkülönböztetik a kettős felhasználású és a kizárólag kártékony információt, pontosan felismerik a valóban veszélyes CBRN‑kimeneteket, és képesek észlelni a kibertámadások automatizálására irányuló próbálkozásokat.
-
Többnyelvű értékelések: sok képesség‑benchmark nem elérhető a világ nyelveinek többségén. Anthropic támogatja azokat az értékeléseket, amelyek több nyelvet fednek le.
-
Társadalmi hatások: olyan kifinomult értékelések, amelyek túlmutatnak a felszínes metrikákon, és olyan fogalmakat mérnek, mint a kártékony elfogultság, diszkrimináció, túlzott függőség, pszichológiai befolyás, gazdasági hatások és homogenizáció.
Infrastruktúra, eszközök és módszerek
A program kiterjed azokra az eszközökre és infrastruktúrára is, amelyek megkönnyítik a magas színvonalú értékelések fejlesztését:
-
Sablonok és no‑code platformok: olyan eszközöket szeretnének finanszírozni, amelyek lehetővé teszik a szakterületismerettel rendelkező, de kódolni nem tudó szakértők számára, hogy erős értékeléseket készítsenek exportálható formátumban, gyors iterációt és visszacsatolást biztosítva.
-
Modellosztályozási (grading) értékelések: támogatnák olyan nagy, sokszínű adathalmazok létrehozását, amelyeken modellek más modellek teljesítményét komplex rubrikák alapján bírálnák — minden kérdéshez mintaválaszokkal, „ground truth” pontszámokkal és a pontozási rubrikával.
-
Uplift‑próbák: kontrollált kísérleteket szeretnének futtatni, amelyek mérik, milyen hatással vannak a modellek a feladatvégzésre különböző csoportokban. A terv rendszeres, nagyszabású próbákat lefuttatni ezres nagyságrendű résztvevővel, és támogatni az ehhez szükséges vizsgálati népességek hálózatát és az elemző eszközöket.
A jó értékelések alapelvei
Anthropic összegyűjtött tíz gyakorlati megfontolást, amelyek segítenek elkerülni a gyakori buktatókat. Néhány kulcspont:
- Elég nehéz legyen (ASL‑3/ASL‑4 vagy emberi szakértő szintjét mérje).
- Ne legyen benne a modell tréningadata.
- Hatékony, skálázható és használatra kész legyen.
- Lehetőleg nagy volumenű (1 000–10 000 feladat jobb, de magas minőségű kis sorozat is értékes).
- Szakértői tudás bevonása, ha a téma igényli.
- Formátumok sokfélesége (nem csak feleletválasztós, hanem feladat‑alapú, modell‑osztályozott, emberi kísérletek).
- Szakértői alapvonalak biztosítása összehasonlításhoz.
- Jó dokumentáció és reprodukálhatóság (például Inspect vagy METR szabványok használata).
- Kezdetben kicsiben tervezni, iterálni és skálázni.
- Realisztikus, biztonsági szempontból releváns fenyegetésmodellezés.
Pályázat benyújtása és támogatás
A pályázatokat az Anthropic alkalmazási űrlapján keresztül lehet benyújtani. Kérdések esetén az eval‑initiative@anthropic.com címen lehet érdeklődni. A csapat folyamatosan értékeli a beérkezett javaslatokat, és a kiválasztott projektekkel egyeztetnek a következő lépésekről; a finanszírozási formákat a projekt szükségleteihez igazítják.
Anthropic hangsúlyozza, hogy egy értékelés finomítása több iterációt igényel, és a pályázók lehetőséget kapnak együttműködésre Anthropic belső szakértőivel (például Frontier Red Team, Finetuning, Trust & Safety csapatok), hogy a tesztek minél nagyobb hatást érjenek el.
Mit várnak a szervezők
A cél az, hogy a kezdeményezés katalizátorként szolgáljon a teljes iparág számára, és elősegítse, hogy átfogó, magas színvonalú AI‑értékelések váljanak ipari normává. Anthropic arra buzdítja az érdeklődő szervezeteket, hogy nyújtsanak be javaslatot és csatlakozzanak a munkához.
