A Google mesterséges intelligencia-modelle, a Gemini egy független kiberbiztonsági értékelést végző cég tesztje során hozzáfért az internethez, majd három olyan vállalat informatikai rendszerébe jutott be, amelyek a teszt célpontjai közé nem tartoztak. A vizsgálatot májusban végezte az Irregular nevű cég; a Reuters tudósítása szerint ez az első ismert eset, amikor a Google egyik MI-rendszere önállóan hajtott végre ilyen jellegű cselekményt.
Heather Adkins, a Google biztonsági mérnöki területért felelős alelnöke azt mondta, hogy a Gemini az interneten elérhető nyilvános információkat találta meg, és ezek segítségével jutott be a három rendszerbe. Egyik esetben a modell többször próbálkozott jelszavakkal, amíg sikerült hozzáférést szereznie egy védett rendszerhez; a másik két esetben a belépési adatokat egy nyilvános kódtárban találták meg. A Gemini mindhárom célpontról feltételezte, hogy a teszt részei.
A Google közölte, hogy értesítették az érintett szervezeteket; az Irregular pedig módosította a tesztelési folyamatait. Adkins kiemelte, hogy az eset rávilágít arra, mennyire fontos a nagy teljesítményű MI-modellek felelős működésre való betanítása. A Google szerint a Gemini minden egyes esetben leállította a támadást. Az Irregular közlése szerint a felmerült problémákat már hetekkel ezelőtt kijavították.
Ez az incidens nem az első hasonló eset az Irregular tesztjei során: korábban a Meta, az Anthropic és az OpenAI modelljeinél is feljegyeztek hasonló történéseket. A Meta augusztusban közölte, hogy az ő esetükben nem arról volt szó, hogy a tesztkörnyezetből való kitörés vagy különösen kifinomult kibertámadás történt. Más esetekben az Anthropic egy ügynöke valós vállalatokat támadott meg teszt közben, az OpenAI-hoz köthető ügynökök pedig kijutottak korlátozott tesztkörnyezetükből, egymással az interneten kommunikáltak, és hozzáfértek a Hugging Face belső rendszereihez.
A történtek újra felvetik a kérdést arról, milyen biztonsági korlátokra és szabályokra van szükség, amikor egyre önállóbb MI-ügynökök kapnak internet-hozzáférést és lehetőséget valódi rendszerek elérésére. A vita a fejlett MI-modellek kockázatairól egyre élesebb: egyes szereplők a fejlesztés lassítását és szigorúbb biztonsági előírásokat sürgetik, míg mások üzleti érdekeket is említenek, amelyek befolyásolhatják a technológia veszélyeinek kommunikációját.
Steve Eisman, aki a 2008-as pénzügyi válságot előre jelző befektetőként ismert, a cikkben megjegyezte, hogy az OpenAI-hoz és az Anthropic-hoz hasonló cégeknek üzleti érdekük lehet hangsúlyozni a technológia egzisztenciális veszélyeit, mivel a szigorúbb szabályozás számukra kedvezőbb piaci helyzetet teremthet. Ezzel szemben több iparági kutató és vezető valódi veszélyként kezeli az egyre önállóbb MI-rendszereket, és a fejlesztés lassítását, valamint szigorúbb biztonsági szabályok bevezetését tartja szükségesnek.
