Epoch és METR bemutatták a MirrorCode nevű benchmarkot, amely azt vizsgálja, mennyire tudnak mesterséges intelligenciák hosszú, emberi időt igénylő programozási feladatokat önállóan megoldani. A benchmarkot először áprilisban jelentették be (Import AI #453), és azóta részletesebben kidolgozták és nyilvánossá tették további tesztekkel.
Mi a MirrorCode?
A MirrorCode célja annak felmérése, hogy egy AI mennyire tud egy meglévő szoftverprogramot újraimplementálni kizárólag parancssori (CLI) hozzáférés alapján, forráskód vagy webes információk nélkül. A koncepció lényege, hogy a teljes program szerkezetét és viselkedését kell újratervezni és implementálni, nem pedig csak részletek bitről‑bitre történő átfordítása.
Példa célprogramok és méretük
- pkl: egy, az Apple által fejlesztett programozható konfigurációs nyelv — 61 000 sor forráskód
- gotree: faformátumok (filogenetikai fák) elemzésére és manipulálására szolgáló program — 16 000 sor
- qsv_select: oszlopok kiválasztására és átrendezésére szolgáló CSV‑eszköz — 87 000 sor
Eredmények röviden
A MirrorCode megoldható, de kihívást jelentő benchmark, és a kiadott eredmények vegyes képet mutatnak. Az összesen 25 célprogramból 17‑nél akadt legalább egy tökéletes pontszámú futtatás; további négy célpontnál közel tökéletes (99% feletti) futás volt mérhető. Ugyanakkor 8/25 programnál sosem sikerült elérni a 100%-os küszöböt, és 4/25 célpontnál nem sikerült elérni a 99%-ot.
Konkrét példák a teszteredményekből:
- OpenAI/Anthropic‑stílusú modern modellek: Claude Opus 4.7 és GPT‑5.5 több programnyelven is sikeresen újraimplementálták a gotree programot, az ilyen futtatások inferenciális költsége 100–400 dollár között mozgott.
- Opus 4.7 egyes esetekben még nagyobb projekteket is képes volt újraalkotni; például a pkl újraimplementálását is sikerrel hajtotta végre.
- Egy különösen feltűnő esetben egy Opus 4.7 futtatás 14 óra alatt oldott meg egy feladatot, az inferencia költsége 251 dollár volt; a szervezők szerint ez a feladat egy ember számára 2–17 hét munkát jelentene.
A szerzők megjegyzik, hogy az AI‑modellek gyorsan fejlődnek: a vezető modellek mintegy egy évvel korábban körülbelül 30%-os pontszámokat értek el, és jellemzően egyszerűbb programokkal birkóztak, például naptárfunkciókat kínáló segédprogramokkal.
Mely programok okoztak nehézséget?
A legnehezebb célpontnak a ruff nevű Python lintelő és formázó bizonyult, ezen kívül különösen gyenge teljesítményt mutattak a matematikai csomag giac_subset és az e‑mail hitelesítéssel foglalkozó mailauth esetén.
Mit tartalmaz a kiadás?
A MirrorCode kiadása egy scaffold‑ot és a 25 célprogram közül 22‑t tartalmaz, összesen 132 feladatesettel hat programozási nyelven.
Miért fontos ez?
A benchmark több szempontból is érdekes. Egyrészt kvantitatív bizonyíték arra, hogy az AI rendszerek sokat javultak a kódírásban, és képesek nagyobb projekteket is újraalkotni viszonylag rövid idő alatt és kis költséggel. Másrészt fontos következtetés, hogy az AI‑modellek képesek „önállóan tájékozódni” környezetükben: feketedoboz‑hozzáférés (input‑output) alapján képesek rekonstruálni egy külső rendszer működését, és ebből saját megvalósításokat létrehozni. A szerzők rámutatnak, hogy ez a képesség hosszabb távon lehetőséget ad arra, hogy intelligens ügynökök külső rendszerek alapján belső, „hazai” képességeket építsenek ki.
A MirrorCode nyilvános közzététele lehetővé teszi, hogy a kutatói közösség és ipar jobban mérje a modellek képességeit nagyléptékű, hosszú távú programozási feladatokban, és nyomon kövesse a fejlődést a jövőben.
