Zora Z. Wang és munkatársai a Carnegie Mellon University és a Stanford University kutatói azt vizsgálták, mennyire tükrözik a mai „ügynök” (agent) benchmarkok a valós munkaerő‑eloszlást. Több mint 10 000 példát dolgoztak fel 43 különböző agent benchmarkból, és ezeket az Egyesült Államok kormányzati munkaosztályozó rendszere, az O*NET szerinti foglalkozásokra, munka tevékenységekre és készségekre térképezték át. Az eredmény világos torzítást mutat: a benchmarkok aránytalanul sok kódolási és szoftvermérnöki feladatot tartalmaznak a munkaerőpiac valós eloszlásához képest.
Módszer röviden
- A szerzők 43 benchmarkból (például SWE-bench és WebArena) gyűjtöttek reprezentatív mintát: összesen több mint 10 000 példát.
- Két taxonómiát építettek az O*NET alapján: (i) foglalkozások (köztük 5 806 számítógépes alapú munkatevékenység) és (ii) 41 kapcsolódó készség.
- Beszerezték az egyes foglalkozásokra vonatkozó foglalkoztatotti létszám és mediánbérek adatait, és ezek alapján számolták ki az adott foglalkozáshoz kapcsolódó összfoglalkoztatást és „tőkét” (foglalkoztatás × bér).
- A benchmarkpéldákat a Claude 3.5 Sonnet nagy nyelvi modellt használva párosították az összes releváns munka‑tevékenységgel és készséggel (például az „implement bubble sort” példát a „write, update, and maintain computer programs…” munkatevékenységgel és a „working with computers” készséggel).
- Költségkorlát miatt a mintavétel szelektív volt: benchmarkonként véletlenszerűen öt példát dolgoztak fel egymás után, és addig folytatták a mintavételt, amíg az adott taxonómiában a teljes lefedettség 0,1 százaléknál kisebb mértékben nőtt. Gyakorlatban ez azt jelentette, hogy ha egy benchmark alatt 300‑nál kevesebb példa volt, mindet bevonták; a legtöbb benchmarknál körülbelül 300 példát térképeztek.
Fő eredmények
- A benchmarkok erősen a szoftverfejlesztés és a „computer and mathematical” foglalkozások felé torzítanak: ezekre a foglalkozásokra 8 622 példát rendeltek. Ezzel szemben az „office and administrative support” kategóriába 3 186 példa, a „management” kategóriába 676 példa esett.
- A valós munkaerő‑eloszlás azonban eltér: az Egyesült Államokban körülbelül 5,2 millió ember dolgozik "computer and mathematical" munkakörben, míg az "office and administrative support" kategóriában mintegy 18,2 millió, a "management" területen pedig 11 millió ember foglalkoztatott.
- Hasonló eltérés látható a jövedelmi tőke eloszlásában: az Egyesült Államokban a "computer and mathematical" foglalkozások évente összesen mintegy 563,6 milliárd dollár jövedelmet képviselnek, míg az "office and administrative support" 869,8 milliárd, a "management" pedig 1 326,3 milliárd dollárt.
- A benchmarkok egyenként és összességében sem fedik le a teljes munkatevékenység‑ és készségteret: a legjobb lefedettséget nyújtó benchmark, a GDPval, a munkatevékenységek 47,8 százalékát és a készségek 58,5 százalékát érintette. Az összes benchmark együttesen a munkatevékenységek 56,5 százalékát fedte le, míg a szerzők 41 készségkategóriájának 85,4 százalékát.
Miért fontos ez?
A jelenlegi agentek kimutathatóan növelik a termelékenységet a szoftverfejlesztés terén, és ez a hatás elméletileg kiterjeszthető más, gazdaságilag jelentős foglalkozásokra is. A benchmarkok és a munkaerőpiac közti rések feltérképezése két dolgot jelez: egyrészt, hogy a mostani mérőeszközök túlzottan szűken mérik az ügynökök képességeit, másrészt, hogy jelentős gazdasági érték rejlik abban, ha az ügynököket olyan adminisztratív, pénzügyi és menedzsment jellegű feladatokra fejlesztik és mérik, amelyek a teljes munkaerő és tőke nagyobb hányadát adják.
Következtetések és kilátások
Érthető, hogy a benchmarkok most a szoftvermérnöki feladatokra koncentrálnak — az agentalapú kódolás gyorsan terjed és látványos eredményeket hozott. Ugyanakkor a munka‑ és készségtaxonómiák szerinti összehasonlítás rámutat, hogy a mérések bővítése a szélesebb spektrumú munkatevékenységek felé fontos lenne ahhoz, hogy az agentek tényleges gazdasági hatását és potenciális hasznát teljesebben felmérhessük.
