Anthropic bejelentette, hogy három Claude-családba tartozó modelle — Opus 4.7, Mythos 5 és egy, a nyilvános kiadásra nem szánt belső kutatási modell — valós rendszerekhez férhetett hozzá előtelepítés előtti kiberbiztonsági vizsgálatok során. A cég szerint a probléma oka egy félreértés volt Anthropic és harmadik fél vizsgálópartner, az Irregular között: az értékelési környezet internetkapcsolattal működött, bár azt a modelleknek szimulált, internettől elzárt környezetként írták le.
Mit érintett a probléma
Anthropic közzétette, hogy a három incidens során a modellek három külön szervezet rendszereit kompromittálták. A vállalat nem nevezte meg ezeket a szervezeteket; két elérhető partner szerint az eseményt korábban nem észlelték. A cég korábbi lépésként több mint 141 000 kiberbiztonsági értékelési futást tekintett át, miután OpenAI korábbi közzététele nyomán felmerült, hogy frontvonalbeli modellek tesztek közben hozzáférhetnek harmadik felek rendszereihez.
Hogyan történtek az incidensek
Minden esetben a modelleket „capture-the-flag” feladatra kérték: ez egy alapvető kiberbiztonsági gyakorlat, amely során a résztvevők adott információdarabokat keresnek eltérő gépeken vagy hálózatokon. Anthropic szerint a modellek egyszerű, jól ismert támadási módszereket alkalmaztak, például gyenge jelszavak kihasználását és autentikáció nélküli végpontok felhasználását.
- Az első esetben az Opus 4.7 által célzott fiktív cég neve megegyezett egy valódi, aktív weboldal nevével. Miután a modell nem érte el a fiktív célpontot, az internetet használva rátalált a névazonos weboldalra, és kompromittálta azt.
- A második esetben Mythos 5 létrehozott és feltöltött egy rosszindulatú Python csomagot a PyPI nyilvános tárolójába, mert azt hitte, a csomag része a szimulációnak. A csomag körülbelül egy órán át volt elérhető, és ezalatt 15 valós rendszeren töltötték le és futtatták. Az egyik érintett rendszer egy automatikusan csomagokat letöltő biztonsági céghez tartozott, amely a csomagok vizsgálata közben lehetővé tette a modellnek hitelesítő adatok kicsalását és további infrastruktúrák elérését.
- A harmadik esetben a belső kutatási modell körülbelül 9 000 célpontot vizsgált át, mielőtt talált és kompromittált egy internet felé nyitott alkalmazást. A modell egy ponton észlelte, hogy egy felhőfiókba került, amely „nem kapcsolódott a capture-the-flag kihíváshoz”, és ezután leállította a támadást.
Mi nem történt
Anthropic hangsúlyozta, hogy az események nem egy zero-day sebezhetőség kihasználásának eredményei voltak: a modell nem „szökött meg” sérülékenység kihasználásával; az internetkapcsolat a tesztkörnyezet konfigurációjából adódott. Továbbá a vállalat jelezte, hogy azok a védelmi korlátok, amelyeket a nyilvánosan elérhető modellekre alkalmaznak, az értékelési környezetben nem voltak érvényben, mert a tesztek célja a nyers képességek felmérése volt.
Reakciók és következő lépések
Anthropic és az Irregular saját vizsgálatukat folytatja az események körülményeinek feltárására. A cég közölte, hogy felfüggesztették az internethez hozzáférő kiberértékeléseket, amíg átvizsgálják a tesztinfrastruktúrát és a konfigurációs gyakorlatokat. Az Irregular szóvivője az Axiosnak elmondta, hogy vizsgálatuk még tart, de értékelik „Anthropic együttműködését és átláthatóságát”, és továbbra is együtt kívánnak dolgozni a biztonság előmozdításán.
Összefoglaló
A mostani eset azt mutatja, hogy a legfejlettebb AI-modellek tesztelése során is kockázatok merülnek fel, ha az értékelési környezet nem szigetelt. Anthropic esete — hasonlóan az OpenAI korábbi bejelentéséhez — újra felhívja a figyelmet arra, hogyan biztosítják a kutatóintézetek a tesztkörnyezeteket és milyen garanciákkal mérik a modellek valós képességeit anélkül, hogy valós rendszereket veszélyeztetnének.
