A SWE-bench és változatai (SWE-Bench Pro, SWE-bench Multilingual és SWE-bench Verified) évekig az alapmércének számítottak a nagy nyelvi modellek (LLM-ek) és az ügynökök szoftvermérnöki képességeinek tesztelésében, különösen hibajavítási feladatokban. Mivel a modellek egyre jobb eredményeket értek el ezeken a feladatokon — részben azért, mert a feladatok bekerülhettek a tréningadatok közé — új, nehezebb és kevésbé valószínű, hogy a tréningkészletekben szereplő problémákat tartalmazó benchmarkok jelentek meg.
Mi az újdonság?
Három, nemrég kiadott benchmark erős jelölt a SWE-bench család helyettesítésére: DeepSWE, ProgramBench és ITBench-AA. Mindhárom más-más aspektusból növeli a feladatok komplexitását:
- DeepSWE: az ügynökök jellemző-megvalósítási képességét méri, olyan feladatokkal, amelyek nehezebben diagnosztizálhatók és több kódsor megírását igénylik.
- ProgramBench: azt vizsgálja, mennyire képes egy ügynök új, működő programokat létrehozni ötletek alapján csak promptokból.
- ITBench-AA: a modern hardver- és szoftverstackekben előforduló incidensek diagnosztizálását teszteli.
DeepSWE — Datacurve
DeepSWE-t a Datacurve fejlesztette ki; célja hasonló a SWE-bench eredeti szándékához, de sokkal nehezebb példákat tartalmaz. A benchmark:
- 113 feladatból áll, 5 programozási nyelven.
- emberi szakértők által jóváhagyott feladatokat tartalmaz, és igyekszik elkerülni, hogy a példák tréningadatokat szennyezzenek azáltal, hogy privát kódalapokból veszi az inspirációt.
- a feladatok valós tárolók alapján készültek, de nem létező vagy megoldott kódrészletek másolatai. Egy példa: a ABS nyelvű GitHub-tárolóból vett „Bővítsük az indexelési tartományokat, hogy tömbök és karakterláncok támogassanak egy harmadik szeletkomponenst: value[start:end:step]” feladat.
A teszteléshez a mini-swe-agent ügynök-hámot használják; a bemenetek rövidebb promptok, és az ügynöknek egy LLM segítségével kell megoldást találni több elfogadható lehetőség közül. A megoldások körülbelül 5,5-szer több kódsort igényelnek, mint a SWE-Bench Pro feladatai. DeepSWE tesztjei ember által írt problémákra és ellenőrző tesztekre épülnek, nem automatikusan generált példákra.
Teljesítmények: a publikáció szerint GPT-5.5 (beállítva xhigh reasoning) jelenleg a legjobb eredményt éri el DeepSWE-n, azaz a feladatok 70 százalékát oldotta meg. A második helyen a Claude Opus 4.8 áll 58 százalékkal, míg a Gemini 3 Flash 5 százalékot ért el — ez 65 pontos különbséget jelent a vezető modellek között.
ProgramBench — Meta, Stanford és Harvard
A ProgramBench-et a Meta, a Stanford University és a Harvard kutatói fejlesztették. A benchmark célja annak mérésére szolgál, hogy egy SWE-agent hám által vezérelt modell képes-e emberi felügyelet nélkül 200 ötletet működő programmá alakítani.
A feladatok során az ügynök hozzáfér egy konzolhoz, amely képes meglévő programokat futtatni; az ügynök feladata reprodukálni a programot úgy, hogy előállítja annak bemeneteit és elvárt kimeneteit. A benchmark összeállításában a szerzők egy olyan ügynököt használtak (mini-SWE-agent vagy SWE-agent) Claude Sonnet 4.5 LLM-mel arra, hogy (i) kiválasszon egy jelölt tárolót, (ii) elkészítsen egy futtatható programot, (iii) generáljon teszteket, és (iv) összeállítson egy tesztkörnyezetet — ideértve a lefordított futtatható programot, használati dokumentációt és olyan teszteszközöket, amelyeket a modell nem feltétlenül tudna generálni (például képek).
A reprodukálni kívánt programok nehézsége változó: egyszerű például az entr nevű eszköz, amely egy parancsot futtat, ha egy fájl megváltozik; nehezebb példa a ffmpeg, amely hangot és videót kódol/dekódol és feldolgoz.
Eddig egyik modell sem tudta minden tesztet teljesíteni. A passzálási küszöb 95 százalékra csökkentése mellett a Claude Opus 4.7 3 százalékban reprodukált programokat, a Claude Opus 4.6 2,5 százalékot, míg a Claude Sonnet 4.6 1,6 százalékot ért el. A publikálás időpontjában más modellek nem reprodukáltak programot.
ITBench-AA — IBM és Artificial Analysis
Az ITBench-AA-t az IBM és a független mérőlabor, az Artificial Analysis fejlesztette ki az IBM korábbi ITBench-jének frissítéseként. A benchmark azt méri, hogy egy Artificial Analysis Stirrup hám által vezérelt modell mennyire képes diagnosztizálni a szoftveres hibák mögötti műszaki okokat (például memóriahiány vagy helytelen konfigurációs módosítás).
Az ITBench-AA 59 ember által írt incidensből áll, amelyek valós eseményeken alapulnak. Minden incidens tartalmaz riasztásokat, eseményeket, hibakövetési információkat, rendszer-metrikákat, a részt vevő alkalmazások manifestjeit, valamint egy ember által meghatározott alapvető okdiagnózist. Egy példában egy program hét különböző riasztással küzdött magas hibaarányok miatt; a diagnózis emberi hibára mutatott (szervereket vettek offline karbantartás céljából).
ITBench-AA a teljes visszahívást (full recall) méri: a helyes diagnózisok arányát az összes diagnózisra. Ha egy modell bármely incidensnél kihagyja a gyökérokot, az adott incidensnél nullát kap.
Mérések: a vizsgált modellek közül a Claude Opus 4.7 (max reasoning beállítással) érte el a legmagasabb teljes visszahívást, 46,7 százalékkal. GPT-5.5 (xhigh reasoning) 45,8 százalékot ért el. A lista alján a Llama 3.3 70B áll 0,6 százalékkal — több mint 40 százalékos különbséget jelezve a legjobb és a legrosszabb között.
Miért számít ez?
A SWE-bench és variánsai hosszú ideig jó indikátornak tekinthetők voltak a modellek ügynöki képességeire. Azonban az, hogy a modellek egyre jobbak lettek ezeken a teszteken, valamint az ügynökök szerepének bővülése — hosszabb futások, kevesebb és kevésbé specifikus emberi iránymutatás mellett — szükségessé tette a nehezebb, specifikusabb és olyan feladatok bevezetését, amelyek valószínűleg nem találhatók meg a tréningadatokban.
DeepSWE, ProgramBench és ITBench-AA különböző megközelítéssel növelik a kihívást: több kódot igénylő problémák, teljes programok reprodukálása és valódi incidensek diagnosztikája. Ezek a benchmarkok reálisabb és nehezebben „kikezdhető” feladatokat adnak az ügynököknek, ami segíthet pontosabb képet adni a tényleges képességeikről.
Megjegyzés
A publikáció záró megjegyzése szerint megnyugtató, hogy mennyit fejlődtek az ügynökök, ugyanakkor alázatra int, mennyi további fejlesztés szükséges még a megbízható, önálló szoftverfejlesztő ügynökök kialakításához.
