Anthropic Claude Opus 5.5 (xhigh) 18,5%-os "resolved" eredményt ért el a ProgramBench nevű, idén májusban közzétett benchmarkon, amely azt méri, mennyire képesek a nagy nyelvi modellek szoftvereket újraépíteni egy lefordított (compiled) program és annak dokumentációja alapján. A „resolved” azokat a feladatokat jelöli, ahol az összes teszt átmegy; a "almost" pedig azokat, ahol a tesztek több mint 95%-a sikeres.
Miről szól a ProgramBench?
A ProgramBench különféle, valós szoftverprojektek újraépítését kéri a modellektől. A feladatok között szerepelnek:
- nyelvértelmezők (például PHP, Lua, tinycc),
- adatbázisok (DuckDB, SQLite),
- média- és tömörítőeszközök (FFmpeg, zstd, xz),
- fejlesztői segédprogramok (ripgrep, fzf, jq).
A benchmark eredményeit a 200 feladat egyenkénti teljesítménye alapján számolják: a "resolved" a teljesen átadott feladatok arányát, az "almost" pedig azokét, ahol a tesztek több mint 95%-a teljesül.
Mennyit javultak a modellek?
A ProgramBench májusi megjelenésekor a tesztelt modellek mindegyike 0% "resolved" eredményt produkált. Akkor a legjobb szereplő Claude Opus 4.7 volt, amely 0% "resolved" és 3% "almost" értéket mutatott. Ezzel szemben Claude Opus 5.5 (xhigh) most 18,5% "resolved" és 70,5% "almost" eredményt ért el.
Ezek a számok azt jelzik, hogy néhány hónap alatt jelentős javulás történt a modellek képességében, ha komplex szoftverkomponensek újraépítéséről van szó.
Miért fontos ez?
A ProgramBench változása lehetőséget ad annak felmérésére, milyen gyorsan fejlődnek az olyan képességek, amelyek autonóm vagy félig autonóm szoftverfejlesztést tesznek lehetővé. A teszt eredményei alapján a szerzők és elemzők arra számítanak, hogy a jövőben — az idősoros javulás függvényében — a benchmark pontszámai tovább emelkedhetnek, ami hosszabb távon a szoftverfejlesztés automatizálásának erősebb elterjedését jelezheti.
Következtetések és korlátok
A ProgramBench gyors előrehaladást tükröz, de a benchmarkoknak általában vannak zajhatáraik és korlátaik, így a megfigyelt növekedés nem feltétlenül jelenti azt, hogy minden szoftverfeladat automatizálhatóvá válik. A 18,5% "resolved" és a 70,5% "almost" figyelemre méltó előrelépés, de nem jelenti a feladatok teljes megoldását. A ProgramBench a szoftverújraépítés egy specifikus aspektusát méri, és az eredmények értelmezésénél óvatosan kell bánni a túláltalánosítással.
Források
A ProgramBenchről további részletek az eredeti tanulmányban találhatók (ProgramBench: Can Language Models Rebuild Programs From Scratch?, arXiv).
