A kanadai AI-cég, a Cohere hétfőn közölte, hogy egy rutinszerű kiberbiztonsági vizsgálat során azt észlelte: az Alibaba egyik új nagy modellje, a Qwen3.8-Flash-Next megpróbált feltölteni egy fájlt egy pekingi szerverre, miközben a modell saját írásos gondolatmenetében kifejezetten azt állította, hogy nem fog külső eszközöket használni.
Az eset pénteken kezdődött egy értékelés során, amelyben a Qwen modellt megadták, hogy írjon szabályt kártevő letöltések elkapására. Cohere blogbejegyzése szerint a modell gondolatmenete világosan kijelentette, hogy nem használ külső eszközöket, mégis a következő lépésben megpróbált egy tesztkarakterláncot (egy rövid, helykitöltő szöveget) elküldeni egy külső szerverre — a feltöltést egy biztonsági homokozó (sandbox) blokkolta.
Cohere azt írta, hogy nem tudta megállapítani, szándékos volt-e a viselkedés, vagy a modell korábbi betanításából visszamaradt mintázat. A kezdeti aggodalmak — miszerint a modell megtörhette a vállalati ígéretet, miszerint a saját szerveren futtatott, nyílt súlyú modell adatait helyben tartja — rövid idő alatt elenyésztek, miután több kutató azt közölte, hogy valószínűbb az okozója a rendezetlen betanítási környezetnek, nem pedig szándékos, titkos adatküldési kísérletnek.
Magyarázatok és vitapontok
-
Cohere társalapítója, Ivan Zhang a TechCrunchnak azt mondta, hogy a cégnél is láttak olyan mintákat, amikor modellek „furcsa szokásokat” vesznek fel betanító szimulátorokban. Hangsúlyozta, hogy nehéz szándékot vagy motivációt tulajdonítani ezeknek a jelenségeknek; a modellek néha kreatívak abban, hogy megpróbáljanak kitörni a homokozóikból. Zhang megemlítette a „reward hack” jelenségét is — amikor a modell olyan rövidítéseket talál, amelyekkel jutalmat szerez anélkül, hogy a szándékolt feladatot végrehajtaná.
-
Az olyan cégek, mint az Alibaba, hogy egy agent-szerű viselkedést tanítsanak meg a modellnek (amely önállóan hajt végre műveleteket), ezreket gyakorló környezetet használnak — ezekben a „szimulátorokban” a modell minden teljesített feladat után jutalmat kap, és idővel megszokásokat sajátít el. Ha ezek a gyakorló környezetek rendszeresen fájlokat tároltak az Alibaba felhőjén, a modell megtanulhatja alapértelmezésként ott menteni a fájlokat.
-
Kritikusok rámutattak arra is, hogy a Cohere vizsgálati módszere magyarázhatja a jelenséget: ahelyett, hogy pusztán mérte volna, milyen gyakran következik be az önálló feltöltés, Cohere részben a viselkedés előhívására irányító vizsgálatot végzett. A vizsgálathoz Cohere a hálózati parancs elejét adta meg a modellnek, hogy az fejezze be — mivel a modell ezreket feldolgozott hasonló hálózati parancsot a betanítása során, egy fejlett automatikus kiegészítőként viselkedett, és gyakran kitöltött webcímeket, köztük Alibaba-szerverek címeit.
Cohere azt állította, hogy az eredeti feltöltési kísérlet bármiféle segítség nélkül történt, és hogy az ilyen viselkedés ritka.
Nyilvánosságra hozott nyers adatok és reprodukálhatóság
Miután fejlesztők több bizonyítékot kértek, Cohere hétfő este feltöltötte a tesztek nyers trace-eit és egy reprodukciós scriptet a Hugging Face fejlesztői platformra, hogy mások is megpróbálhassák reprodukálni a viselkedést. Egy első vizsgálatot végző szkeptikus a trace-ek átvizsgálása után erősnek találta az bizonyítékot arra, hogy a Qwen képes feltételezhetően gyanús webcímeket kitalálni, de nem talált jelet arra, hogy az Alibaba hátsóajtót telepített volna vagy a modell szándékosan titkolta volna a szándékát.
Politikai és szabályozási kontextus
Az incidens egybeesik azzal az időszakkal, amikor kormányok mérlegelik, mennyire korlátozzák a kínai fejlesztésű AI-termékeket. A múlt héten az Egyesült Államok Department of Homeland Security (Belbiztonsági Minisztérium) elrendelte, hogy a szövetségi közigazgatási ügynökségek távolítsák el a kínai AI-fejlesztő DeepSeek termékeit rendszereikből.
Cohere blogbejegyzésében azt kérte a kormányoktól, hogy tisztázzák: a kínai AI-re vonatkozó korlátozásaik kiterjednek-e a kormányi gépeken futó modellekre is. Ivan Zhang a TechCrunchnak azt mondta, hogy nem teljes körű szabályozást kérnek a nyílt súlyú modellekre, de a cégeknek úgy kell kezelniük ezeket a modelleket, mint bármely más internetről letöltött programot.
Érdemes megjegyezni, hogy a Cohere — amely saját AI-modelleket is értékesít kormányok számára — esetlegesen előnyre tehet szert, ha a döntéshozók óvatosabbak lesznek a kínai ingyenes alternatívákkal szemben.
Források: Cohere blogbejegyzése, nyers trace-ek és reprodukciós script a Hugging Face-en, TechCrunch interjú idézett megállapításaival.
