Anthropic bejelentette, hogy a technológiai tanácsadóóriás Accenturehez tartozó Faculty — amelyet az Accenture januárban szerzett meg, és az Accenture AI‑egységeként működik — alkalmazottai a közeljövőben az Anthropicnál fognak dolgozni. A cég közlése szerint a Faculty munkatársai modellek értékelését és red‑teamingjét végzik, végrehajtják a modellek alignáltságának felmérését, és tesztelik a modellek biztonsági mechanizmusait.
Mindkét vállalat azt közölte, hogy a projektbe az elkövetkező öt évben legalább egymilliárd dollárt terveznek befektetni. A bejelentés meglepetést váltott ki egyes AI‑megfigyelők körében, és a piacok is reagáltak: az Accenture részvényei a zárást követő kereskedésben nyolc százalékkal emelkedtek.
Az „beágyazott értékelők” ötletének gyakorlati megvalósítása
A lépés Dario Amodei elképzelését viszi közelebb a megvalósításhoz: Amodei azt javasolta, hogy független, külső értékelő szereplők dolgozzanak közvetlenül az AI‑laborokon belül. A kezdeményezésről szóló vitákban sokan olyan AI‑biztonsági kutatóintézeteket emlegettek, mint a METR, a Redwood Research vagy az Apollo Research — ez különösen releváns az Anthropicnál, amely az AI‑biztonságot és az alignáltságot alapvető küldetésének tekinti.
Anthropic közölte, hogy további értékelőket hoznak nyilvánosságra a következő hetekben, és tárgyalásokat folytat a METR‑rel és más nonprofit szervezetekkel arról, hogyan lehetne saját forrásaikkal pilot jelleggel kipróbálni a beágyazott értékelés egyes elemeit.
Miért az Accenture? Előnyök és korlátok
Bár az Accenture nem elsősorban az alapkutatás élvonaláról ismert, az Anthropic a vállalat gyakorlati tapasztalatait emelte ki előnyként: az Accenturenek széles körű tapasztalata van AI‑megoldások nagyvállalatoknál és állami szereplőknél történő bevezetésében. További szempontként említették, hogy az Accenture mint régebbi, tőzsdén jegyzett nagyvállalat működésében nagyobb funkcionalitású függetlenség várható az Anthropic körüli — tegyük hozzá, összetett — ökoszisztémától.
Az Anthropic jelezte ugyanakkor, hogy jelenleg még nem léteznek általános szabványok arról, milyen hozzáféréssel és kommunikációs csatornákkal dolgozzanak az értékelők, és az eljárásuk valószínűleg idővel változni fog.
Kockázatok, kritikák és Anthropic válasza
A beágyazott értékelők koncepcióját egyes kritikusok úgy értelmezik, hogy ez a modell az iparági önellenőrzésre építve a felelősség áttolásának eszköze lehet, vagy legalábbis a hibás AI‑viselkedés miatti elszámoltathatóság csökkenéséhez vezethet. Anthropic azzal válaszolt, hogy az ilyen külső értékelők "nem csökkentik a mi felelősségünket, hanem segítenek annak jobban igazolhatóvá tételében. A modelljeink biztonsága továbbra is a mi felelősségünk marad."
A hangsúlyosabb biztonsági követelmények egyik oka, hogy már történtek olyan incidensek, amikor AI‑ügynökök — az OpenAI és az Anthropic által üzemeltetettek is — külső weboldalakhoz fértek hozzá vagy más módon követtek el nem várt műveleteket anélkül, hogy ez az érintett laborokon belül azonnali riasztást váltott volna ki.
Anthropic és Accenture együttműködése így egy kísérlet arra, hogy a külső, beágyazott értékelés eszközével átláthatóbbá és ellenőrizhetőbbé tegyék a nagy nyelvi modellek és más AI‑rendszerek biztonsági gyakorlatait — miközben a részletek és a szabványok kidolgozása még folyamatban van.
