Anthropic április 20-i közleményében azt javasolja, hogy a Kongresszus biztosítson jelentősebb többletforrást az Egyesült Államok Nemzeti Szabványügyi és Technológiai Intézetének (NIST), hogy az képes legyen bővíteni a mesterséges intelligencia (MI) rendszerek mérésére és szabványosítására irányuló munkáját. A javaslat szerint a pontos mérési módszerek és független vizsgálatok elengedhetetlenek ahhoz, hogy objektíven felmérjük a rendszerek képességeit és kockázatait, és hogy ezt követően hatékony szabályozást lehessen kialakítani.
Miért fontos a mérés?
A szerzők rámutatnak, hogy az elmúlt években gyorsan növekedett az olyan feladatok köre, amelyeket a modern MI-rendszerek el tudnak látni, és széleskörűvé váltak a nyilvánosan elérhető, MI-alapú termékek. Ugyanakkor a kutatások azt is kimutatták, hogy ezek a rendszerek jelentős képességekkel és bizonyos esetekben súlyos kockázatokkal rendelkeznek; egyes kockázatok váratlanul, a modellek léptékének növekedésével tűnnek fel, mások pedig csak a rendszerek élesbe állítása után derülnek ki. A pontos mérések és tesztelési módszerek hiánya megnehezíti ezeknek a kockázatoknak az átfogó felmérését.
NIST szerepe és eddigi munkája
A NIST évtizedek óta foglalkozik mérési infrastruktúra és technikai szabványok kidolgozásával. A szervezet MI-hez kapcsolódó munkái között említik például a Face Recognition Vendor Test (arcfelismerés-értékelés) és az AI Risk Management Framework (MI kockázatkezelési keretrendszer) kezdeményezéseket. A közismert MNIST kézírásos számjegy-adatkészlet is a NIST kézírásos karakterek és számok adatbázisain alapult, és hozzájárult a számítógépes látás korai fejlődéséhez.
Noha a mérési módszerek fejlesztése száraznak tűnhet, a szerzők szerint ez most különösen sürgető: nyílt végű MI-rendszerek előre nem látható módon viselkedhetnek, és a terület még nem rendelkezik széles körben elfogadott, átfogó módszerekkel ezen viselkedések és kockázatok mérésére.
A javasolt befektetés céljai és hatásai
Anthropic egy ambiciózus finanszírozási programot javasol, amely lehetővé tenné a NIST számára, hogy továbbfejlessze a mérési technikákat és ezek szabványosítását, valamint közösségi erőforrásokat építsen (például tesztkörnyezeteket), amelyek alkalmasak a mai, nyílt végű MI-rendszerek képességeinek és kockázatainak vizsgálatára. A javaslat szerint a mérés fejlesztése több gyakorlati célt szolgálhat:
- növelheti az MI-rendszerek biztonságát szigorú tesztelés révén;
- független harmadik fél által végzett validációval erősítheti a közbizalmat;
- segíthet a kormányzatnak megalapozottabb döntéseket hozni arról, hogy egy rendszer biztonságos-e a nyilvánosság számára;
- ösztönözheti az innovációt azáltal, hogy a fejlesztők jobb rendszerek létrehozására törekednek;
- létrehozhat piaci lehetőségeket rendszertanúsításokra és pozitív ösztönzőket a fejlesztők részére.
A dokumentum megjegyzi, hogy a mérési és szabványosítási munkák nem csodaszernek tekintendők a MI-kockázatok kezelésében, de pragmatikus, azonnal alkalmazható eszköznek számítanak, amely más kormányzati és ipari intézkedésekkel együtt hatékonyabb irányítást biztosíthat.
Finanszírozási hiány és konkrét javaslat
A közlemény szerint az utóbbi években a NIST MI-hez kapcsolódó programjai alulfinanszírozottnak tűntek, különösen a technológiai előrehaladás és a MI-széleskörű elterjedése fényében. Anthropic egy konkrét javaslatra is utal: 15 millió dolláros növelést javasolnak a 2023-as pénzügyi évhez képest (ez magában foglalja NIST saját, 5 millió dolláros kéréseit). A cél az, hogy a NIST rendelkezzen a szükséges erőforrásokkal ahhoz, hogy érdemben bővítse mérési és szabványosítási munkáját.
Kapcsolódó szakpolitikai lépések
A beadvány hangsúlyozza, hogy a NIST megerősítése kiegészítheti a többi, MI-irányításra vonatkozó javaslatot: ilyenek a fejlesztő laborok belső ellenőrzései és kormányzása, független auditok, illetve jogi és szabályozási keretek, amelyek a közérdeket szolgálják. Anthropic korábban is támogatta a NIST megerősítését: tanúskodtak a Szenátus Kereskedelmi, Tudományos és Közlekedési Bizottsága előtt, és hivatalos észrevételeket tettek kormányzati konzultációkra.
A cikk megjelenése idején (2023. április) a Kongresszus éppen a 2024-es költségvetési évre vonatkozó javaslatokat vizsgálta, és a szerzők azt kérik, hogy a költségvetési tárgyalások során vegyék fontolóra a NIST erőforrásainak növelését.
Következtetés
Anthropic pragmatikus, tettre kész javaslata szerint a NIST megerősítése – jól célozott többletforrásokkal – segíthet abban, hogy pontosabb mérési módszerek és közösségi eszközök álljanak rendelkezésre az MI rendszerek képességeinek és kockázatainak felmérésére. Ez a megközelítés nem helyettesíti a szélesebb szabályozási és intézményi válaszokat, de a szerzők szerint fontos és érdemi hozzájárulás lehet a biztonságosabb és megbízhatóbb MI-fejlődéshez.
