Daniel Stenberg, a cURL projekt fejlesztője személyesen látta az Anthropic Mythos nevű modelljének eredményeit, amelyről az AI-cég azt állította, hogy rendkívül hatékony biztonsági rések felderítésében. Stenberg azonban azt írta hétfői blogbejegyzésében, hogy a Mythos által a cURL-kódbázison jelentett öt tételből végül csak egy vált megerősített biztonsági sebezhetőséggé, ezért szerinte a körülötte kialakult hype „elsősorban marketing”.
Hogyan jutott hozzá az információhoz?
Stenberg elmondása szerint az Anthropic Glasswing programján keresztül ígéretet kapott hozzáférésre a Mythos modellhez; a Glasswing keretében a Linux Foundation közreműködésével népszerű nyílt forráskódú projektek juthatnak a modellhez. A gyakorlatban azonban Stenberg közvetlen hozzáférést nem kapott: valaki más, aki már rendelkezett hozzáféréssel, lefuttatta a Mythost a cURL kódbázisán és elküldte neki a jelentést.
Stenberg megjegyezte, hogy úgysem lett volna sok ideje különféle promptokkal kísérletezni vagy mélyebb vizsgálatokat végezni, ezért örült, hogy valaki elvégezte az első elemzést.
Mit talált a Mythos a cURL-ben?
A modell jelentése a cURL git repositoryjának egy friss master branch commitján alapult és összesen öt olyan találatot jelölt meg, amelyeket „megerősített biztonsági sebezhetőségnek” minősítette. A cURL csapat tagjaival alapos vizsgálat után azonban ezek közül négy nem bizonyult valódi sebezhetőségnek:
- három hamis pozitív volt — olyan visszajelzések, amelyek valójában korábbi, dokumentált API-korlátozásokra hívták fel a figyelmet;
- egy további találat egyszerű hibaként minősült.
Végül egyetlen, megerősített sebezhetőség maradt, amelyről Stenberg azt írta, hogy alacsony súlyosságú lesz és várhatóan CVE-ként publikálják, a cURL következő, 8.21.0 verziójának júniusi végi kiadásával egyidejűleg. "A hiba senkit nem fog levegő utáni kapkodásra késztetni," tette hozzá.
Hasznos, de nem forradalmi
Stenberg elismerte, hogy a Mythos több nem biztonsági jellegű hibát is talált, amelyeket a cURL csapata most javít, és hogy ezek leírása és magyarázata hasznos volt. Ugyanakkor szerinte ez nem bizonyítja azt, hogy a Mythos olyan mértékben jobb volna az előző AI-eszközöknél, hogy az áttörésnek tekinthető lenne.
Hangsúlyozta: az elmúlt 8–10 hónap során az olyan AI-alapú elemzők, mint az AISLE, a Zeropath vagy az OpenAI Codex Security, nagyjából két- és háromszáz közötti hibajavítást eredményeztek a cURL-ben, és ezek közül sok valódi sebezhetőségnek bizonyult és CVE-ként publikálták őket — valószínűleg több mint egy tucatnyi ilyen CVE-vel.
Stenberg megfogalmazása szerint a Mythos „képes hasznos munkát végezni”, de nem hoz olyan radikális újítást, amely a kódelemzést alapvetően átalakítaná. Szerinte a modellek legfeljebb valamivel jobbak lehetnek bizonyos típusú hibák megtalálásában, de "nem olyan mértékben jobb, hogy az jelentős áttörést hozzon a kódelemzésben".
Az AI korlátai és a kutatók szerepe
Stenberg szerint az AI-eszközök alapvető korlátja, hogy csak annyi tudást tudnak hasznosítani, amennyit az őket programozó emberek beletápláltak. „Az AI-eszközök a megszokott és ismert típusú hibákat találják meg, amelyeket már eleve ismerünk. Csak új példányokat fedeznek fel belőlük,” írta, és hozzátette, hogy eddig egyetlen AI sem jelentett olyan, valóban új típusú vagy teljesen ismeretlen sérülékenységet.
Megjegyezte továbbá, hogy a biztonsági kutatásban az emberi kreativitás és kritikus gondolkodás továbbra is nélkülözhetetlen: az AI eszközök erősebb szerszámokat adnak a kutatók kezébe, de az új módszerek és prompthasználat emberi találékonyságot igényelnek.
Remény a hozzáférésre
Stenberg elmondta, hogy reméli, egyszer saját maga is hozzáférést kap a Mythoshoz, hogy közvetlenül kipróbálhassa, de nem volt túl optimista afelől, mikor vagy hogy ez megtörténik: „Megígérték, hogy kapok hozzáférést, és akár még meg is történhet. Csak azt nem tudom, mikor."
Összességében Stenberg tapasztalatai azt sugallják, hogy a Mythos hasznos lehet egyes feladatokra, de jelen állapotában a modell körüli felhajtás nagyrészt marketingalapúnak tűnik, nem pedig éles biztonsági áttörésnek.
Rövid összegzés
- A Mythos jelentése öt találatot jelölt meg; a cURL csapata közülük egyet erősített meg valódi sebezhetőségként.
- Az egyetlen megerősített hiba alacsony súlyosságú lesz és a cURL 8.21.0 júniusi végi kiadásával publikálják.
- A Mythos több nem biztonsági hibát is talált, amelyek hasznosak, de a modell nem hozott radikális változást a sebezhetőség-felderítésben.
- Stenberg szerint a legtöbb modern AI-modell hasonlóan jó bizonyos típusú hibák megtalálásában, és az emberi kutatók szerepe továbbra is kulcsfontosságú.
