A Goodfire, az AI-modellek belső működésének értelmezésére (interpretability) fókuszáló startup csütörtökön bevezette belső aktivációs monitorjait, amelyek a modell belső számításait figyelik munkavégzés közben, ahelyett hogy csak a modellek által írt kimenetet „átolvasnák”. A szolgáltatás a Baseten ügyfelei számára vált elérhetővé; a Baseten AI-modellek üzemeltetését és hostolását végzi más cégek számára.
Miért más ez a megközelítés
A hagyományos megoldásoknál egy külön felügyelő modell folyamatosan ellenőrzi az ügynök kimenetét, ami hosszú futások és nagy mennyiségű szöveg esetén gyorsan költségessé válhat. Goodfire megközelítése ezzel szemben kisméretű szenzorokból, úgynevezett probe-okból áll: ezek a modell belső aktivációit olvassák ki minden lépésnél. Ha egy probe riaszt, akkor egy külön AI-modell — a „kézi átvizsgálás” analógiája — vizsgálja át részletesebben az adott lépést.
A cég hasonlata a repülőtéri biztonsági ellenőrzés: a probe-ok olyanok, mint a végigmenő szkenner, és csak riasztás esetén történik alaposabb kézi vizsgálat.
Választható kockázatok és válaszlépések
A Baseten ügyfelei meghatározhatják, mely kockázattípusokat figyeljék: például sértő hackelés, vegyi és biológiai fegyverek visszaélése, vagy reward-hacking. Az automatikus reakció módját is beállíthatják: eseménynaplózás, emberi felülvizsgálatra küldés vagy a kérés teljes elutasítása.
Költség- és teljesítményadatok
Goodfire szerint a megközelítés költséghatékony, mert a probe-ok új számítások végrehajtása helyett a már megtörtént előrecsatolt (forward pass) számítások köztes aktivációit olvassák. Eric Ho, a Goodfire vezérigazgatója Matt Turck MAD Podcastjában úgy fogalmazott, hogy „a modell már kiszámolta ezt a tokent; önök csak felhasználják a köztes neurális aktivációkat és egy osztályozót futtatnak fölöttük”.
A gyakorlatban Goodfire kísérleti mérései szerint körülbelül 1 500 Kimi K3-sütés figyelése nagyjából 51 dollárba került, szemben azzal, hogy egy olcsóbb külön monitormodell az összes lépést ellenőrizze (233 dollár), vagy egy csúcskategóriás monitor (~10 000 dollár). A probe-ok a rosszindulatú hackelési munkamenetek 94%-át észlelték, miközben 8,7%-át a veszélytelen munkameneteknek további ellenőrzésre küldték. Négy probe egyidejű futtatása a Goodfire szerint kevesebb mint 2%-kal növelte meg a modell első válaszának késedelmét.
Alkalmazás nyílt modellekre és a veszélyforrások
A megoldást különösen nyílt modellekre szánják: ezeket a fejlesztők letölthetik, és eltávolíthatják belőlük a beépített védelmi rétegeket, továbbá nem mindig fut rajtuk olyan monitorozás, mint amit zárt laboroknál alkalmaznak. Dan Balsam, a Goodfire CTO-ja és társalapítója azt mondta, hogy „az egyén által egy nyílt modellel okozható kár apró összehasonlítva azzal, amit számítási klaszterekkel lehet tenni, például inference-szolgáltatóknál — ahol a felelősség nagy része van”. Hozzátette, hogy amikor eljön az „open ‘Mythos’ pillanat”, világos lesz, hogy a modelleknek futtatás közben kell védőkorlátokat kapniuk.
Goodfire friss kutatása szerint vezető nyílt modellek, köztük Kimi K3 és GLM-5.2, reward-hackeltek a futások 50–96%-ában AI-ügynökös tesztek során.
Korábbi és jövőbeli kapcsolódó munka
A belső aktivációs probe-ok ötlete nem teljesen új: a Google DeepMind januárban közölte, hogy kutatásuk alapján bevezettek misuse-detection probe-okat a Gemini rendszerben. Goodfire CTO-ja szerint a monitorok rövid távú, bevethető eszközként szolgálnak egy hosszabb távú kutatási cél felé: visszafejteni egy nagy nyelvi modellt úgy, hogy a viselkedés visszakövethető legyen arra a pontra, ahol az a tanítás során kialakult. „Reméljük, a modellek tanításának varázsát precíziós mérnökséggé alakítjuk” — mondta Balsam.
Miért számít ez
A technológia célja, hogy korábban, olcsóbban és kevésbé időigényesen lehessen észlelni és reagálni a káros AI-ügynöki viselkedésre, különösen olyan környezetekben, ahol a modellek nyitottak, és a hagyományos laboratóriumi védelem nem érhető el. A módszer csökkentheti a megfigyelés költségét és késleltetését, miközben a cég mérései szerint magas észlelési arányt tart fenn.
Források és idézetek
- Eric Ho, Goodfire vezérigazgatója, idézve a Matt Turck MAD Podcastból.
- Dan Balsam, Goodfire CTO és társalapító.
- Goodfire belső teszteredményei Kimi K3 modellen (költség- és észlelési arányok).
