Collinear AI közzétette a CWE-bench v2-t: egy 100 feladatos, nyilvános benchmarkot, amelynek célja a határvonalon mozgó kibertámadási és -védelmi képességek próbára tétele. A feladatok valós, nyílt forráskódú repozitórium checkoutját és egy rövid instrukciót adnak egy ügynöknek: meg kell találni és javítani egy biztonsági gyengeséget úgy, hogy közben az eredeti funkcionalitás megmaradjon. A pontozás teljesen programatikus és determinisztikus, így bárki reprodukálhatja az eredményeket további költség nélkül.
Mi található a csomagban és miért fontos
- A nyilvános készlet 100 feladatot tartalmaz, amelyek együtt 91 különböző CWE-t (Common Weakness Enumeration) fednek le, azaz széles spektrumú sebezhetőségi osztályokat reprezentálnak. Collinear AI hangsúlyozza, hogy egy jó modellnek nem elég felismernie egy ismert mintát: meg kell értenie azokat a különböző felületeket, amelyeket egy támadó kihasználhat.
- A pontozás programatikus verifikátorokon alapul; ezeket LLM alapú bírópanelszerű folyamatokkal finomították a nehézség és a tisztesség irányába. Emellett fenntartanak egy "held-out" (elrejtett) készletet is, amelyet a modellek nem látnak előre; amelynek értékeléséhez a cyber@collinear.ai címen lehet érdeklődni.
Minőségi ellenőrzés és kézi review
Minden egyes feladatra kiterjedt ellenőrzési lista volt érvényben, többek között:
- Az instrukciók valós, gyakorlati jellegűnek tűnjenek, ne csak értékelési beállításnak.
- Minden pontozott viselkedés következtethető legyen az instrukcióból.
- A verifikátorok a helyes viselkedést ellenőrizzék, ne pedig egyetlen javítás szerkezetét.
- A kiinduló starter kód hibázzon, a referencia javítás pedig sikeres legyen.
- Az eredeti funkcionalitás a javítással továbbra is működjön.
- A verifikátorok elutasítsák a memorizált megoldásokat, például a publikus upstream javításokat. Minden feladat kézi átvizsgáláson is átment. A készlet nyíltforrásúvá tétele része ugyanennek a minőségjavító törekvésnek: visszajelzéseket és hozzájárulásokat várnak a közösségtől.
Eredmények és vezető modellek
Az eredményeket két helyen követik a Hugging Face Hubon:
- A CWE-bench adatkészlet lapján található leaderboard az open-weight modellekre frissül automatikusan: a laborok és a közösség eredményt adhatnak hozzá egy PR-en keresztül a modell repójához.
- A CWE-bench leaderboard Space tartalmazza a teljes összehasonlítást, beleértve az API-only modelleket (például Gemini, Claude és GPT); ide modellek is PR-en keresztül adhatók hozzá.
A publikált eredmények szerint az eddig értékelt 11 modell közül a legjobb eredményeket a Gemini 4 Argon érte el: 67.8% pass@1 és 81.0% pass@4. Claude Opus 5.5 nagyon közel van: 67.3% pass@1 és 78.0% pass@4. Összesen 95 feladatot oldott meg legalább egy modell, ami jelzi, hogy a feladatok megoldhatók, ugyanakkor még a vezető modell is minden próbálkozáson 19%-ban megbukik, tehát a hosszú farokrész távolról sem megoldott.
Költség–teljesítmény megfontolások
A költség-oldalon a Pareto-frontot három modell alkotja: DeepSeek V4.1 Flash (1017), Claude Opus 5.5 és Gemini 4 Argon. Konkrétan:
- DeepSeek V4.1 Flash eléri a 57.0% pass@1 értéket körülbelül 0.04 USD/rollout költségnél.
- Claude Opus 5.5 mintegy tíz százalékponttal többet ad, nagyjából 1.83 USD/rollout költségnél.
- Gemini 4 Argon továbblendül és vezet 3.92 USD/rollout költségnél.
Hogyan futtatható a benchmark (Harbor és Hugging Face)
Minden feladat egy önálló Harbor-taskként érkezik (Dockerizált környezet, instrukció és determinisztikus verifikátor), és az adatkészlet tartalmaz egy registry.json fájlt. Ennek köszönhetően a benchmark közvetlenül a Hugging Face repojáról is futtatható Harborral, klónozás nélkül. Példa parancs:
harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d cwe-bench@2.0 -k 4
--agent <agent> --model <model> --env docker
--allow-agent-host <model API host>
A -k 4 négy próbálkozást futtat feladatonként; a riportált pontszám a 400 próba (100 feladat × 4 próbálkozás) átlagos jutalma. Az adatkészlet hozzáférése zárt feltételekhez kötött: először el kell fogadni a hozzáférési feltételeket az adatkészlet oldalán. Mivel a Harbor git segítségével tölti le a feladatokat, egyszer érdemes a Hugging Face tokenedet a git credential helperbe menteni:
hf auth login --token $HF_TOKEN --add-to-git-credential
A feladatok rl-environment címkével is jelöltek: ugyanazok a környezetek és verifikátorok használhatók jutalmazásként is, tehát nem csak értékelésre, hanem védekező ügynökök tréningjére is alkalmasak.
Záró megjegyzés
A CWE-bench v2 célja, hogy átfogó, reprodukálható és közösség által fejleszthető eszközt adjon a sebezhetőség-felismerés és -javítás automatizálásának értékeléséhez. A nyilvános készlet, a grader és a harness mindenki számára elérhető; Collinear AI arra bíztatja a kutatókat és fejlesztőket, hogy futtassák modelljeiket és osszák meg eredményeiket.
