A Microsoft kutatói egy „Lazarus” nevű módszert ismertetnek, amely képes néhány tétlen neuront átprogramozni egy nagy nyelvi modellben (LLM). Az így manipulált modell elsőre normálisan viselkedik és átmegy a megszokott értékeléseken, de egy rejtett trigger hatására rosszindulatú utasításokat bocsáthat ki, amelyeket az ügynök végrehajt.
Mire képes a Lazarus-módszer?
- A támadás kevesebb mint 10 tétlen neuront érinthet; ezek újrafelprogramozásához nem szükséges a modell újratanítása, elég a súlyok módosítása.
- A modell normál működés közben nem mutat gyanús jeleket, az ellenséges parancs csak akkor jelenik meg, amikor a beágyazott trigger aktiválódik. A cikk például egy egyszerű dátumváltást említ: miután az óra átlép egy meghatározott dátumot (például 2027-re), az ügynök egy futó feladat közben letölt és futtat egy támadó kódját.
- A veszély különösen nagy olyan ügynökök esetén, amelyek eszközökhöz vagy terminálokhoz férnek hozzá: a modell csendben tölthet le és futtathat kódot, ellophat titkokat vagy megsemmisítő parancsokat hajthat végre, miközben a szokásos biztonsági teszteken átmegy.
Működési elv röviden
- Sok LLM-ben vannak ritkán aktiválódó (tétlen) neuronok; ezek átprogramozhatók úgy, hogy csak egy adott trigger megjelenésekor lőjenek be.
- Egy ilyen neuronnal akár egyetlen token is „beékelhető” a modell kimenetébe; több neuron összehangolásával tetszőleges parancsok láncolata is előállítható.
- A beavatkozáshoz csupán a modell súlyaihoz való írási hozzáférés szükséges: elegendő a checkpoint módosítása, nem kell újrasúlyozni vagy továbbtanítani.
- Mivel a változtatás nem befolyásolja a modell általános teljesítményét, a szokásos értékelések általában nem mutatják ki a hátsóajtót.
Felfedezés és kísérletek
A kutatók szerint a vizsgálat egy gyors márciusi kísérlettel indult: Claude Code modellel és Opus 4.5-tel azt próbálták meg, hogy néhány aktivációt keménykódolnak a tanítás nélkül — és sikerrel jártak. A kezdeti kísérletből hónapokig tartó tanulmány bontakozott ki, amelyet Lazarusnak neveztek el.
Mit jelent ez a gyakorlatban a biztonság számára?
- A hazai vagy nyitott súlyú modellek egyaránt sérülékenyek: elég egy kompromittált fiók, pipeline vagy tároló, hogy a súlyok módosuljanak.
- A megbízható súlyok és a modell eredetének (provenance) igazolása kulcsfontosságú; megbízhatatlan forrásból származó modell onboardingja jelentős kockázat.
- Bár csúcskategóriás ügynökök képesek lehetnek anomáliák detektálására (például frontier agentekkel végzett súlyszkennelés), önmagában egy szkennelés soha nem garantál teljes biztonságot: a legmegbízhatóbb módszer a diff-elés az eredeti, nem módosított súlyokra.
Microsoft jelenlegi és tervezett védekezései
- Microsoft Foundry: a Foundry ellenőrzi a modellek eredetét (provenance), összekapcsolja a modelleket megbízható kiadókkal és bevezeti az open-weight modellek körüli szoftverkörnyezet vizsgálatát, mielőtt azokat üzembe helyeznék.
- Konténerek és környezetellenőrzés: a modelleket Microsoft konténerekben futtatják, a környezeti szoftvereket külön vizsgálják kritikus sérülékenységek után.
- Fejlesztés alatt álló további védekezések: AI-alapú súlyszkennelés, a modell módosításainak felismerésére szolgáló red-teaming eszközök, valamint kriptográfiai aláírások és módosítást észlelő provenance/audit naplók.
- Operatív gyakorlatok: a modelleket úgy kezelik, mint potenciális insider-kockázatot — ne bízzunk bennük feltétel nélkül, korlátozzuk képességeiket és monitorozzuk működésüket.
Ajánlott kezdő lépések (Microsoft Threat Intelligence)
A Microsoft röviden javasolja a következőket mint védelem első rétegét (ez nem teljeskörű auditlista):
- Ellenőrizni és rögzíteni a modell eredetét; csak megbízható forrásokat használni.
- Limitálni a modell számára elérhető privilegizált erőforrásokat és eszközhozzáférést.
- Monitorozni az ügynök tevékenységét futás közben és alkalmazni súly-összehasonlító (diff) ellenőrzéseket az eredeti checkpointokkal.
- Törekedni a kriptográfiai aláírásokra és tamper-evident auditálásra.
Következtetés
A Lazarus példája rámutat arra, hogy az AI-ügynökök új, specifikus támadási felületet hoznak létre: a súly-térben végrehajtott, tréninget nem igénylő módosítások rejtett, mégis hatékony hátsóajtókat hozhatnak létre. A megelőzéshez és észleléshez a modellek eredetének ellenőrzése, a súlyintegritás biztosítása és a környezeti szoftverek vizsgálata elengedhetetlen.
