Az Epoch továbbfejlesztette februári kísérletét egy átfogóbb rendszerbe, az Epoch Automation Reportsba, hogy felmérje: a vezető nyelvi és multimodális modellek mennyire képesek elvégezni valódi, mindennapi munkahelyi feladatokat. A kezdeményezés célja az volt, hogy a mesterséges intelligenciát ne egyszerűbb, könnyen pontozható benchmarkok alapján mérjék, hanem ugyanazon a bírálati rubrikán, amelyet az Epoch emberi munkatársainál használnak.
Miért van szükség ilyen méréseket?
A szerkesztőség rövid összefoglalója rámutat arra a „termelékenységi paradoxonra”, hogy bár az AI-k sorra meghaladják az egyes benchmarkokat, a valódi gazdasági hatás lassabban növekszik. Ennek okai többek:
- Sok benchmark a korábbi AI‑képességekhez igazodik, nem pedig a mai emberi teljesítményhez.
- A benchmarkok gyakran csak olyan feladatokat mérnek, amelyek könnyen pontozhatók.
- A modelleket időnként kifejezetten a tesztekre hangolják, hasonlóan ahhoz, mintha valakit az SAT vizsgára tanítanának.
Ezek a tényezők eltérést hoznak létre az AI teszteredményei és a valós munkaköri követelmények között.
A kísérlet menete és fő megállapítások
- A februári kísérletet Anson Ho, az Epoch vezető kutatója indította el azzal a céllal, hogy megpróbálja részben automatizálni saját munkakörét; az akkori eredmény: az AI‑k nem teljesítették a feladatokat, bár Ho úgy vélte, ez a helyzet várhatóan a jelen évtized végére megváltozhat.
- A mostani, kibővített Epoch Automation Reports olyan rendszeresen végzett feladatokat tartalmaz, mint a grafikai tervezés vagy kutatási projektek megtervezése, és az AI‑kat ugyanazon szempontok szerint értékelik, mint az emberi munkavállalókat.
A legfontosabb mérőeredmény: a vezető modellek, Claude Fable 5.1 és GPT‑6 Astra, átlagosan 65%-ot értek el a rubrikapontokból. Ez azt jelenti, hogy a modellek kimenete megfelelt a bírálati szempontok 65%-ának; 100% esetén a feladat automatizálható lenne emberi beavatkozás nélkül.
Mit jelent a 65% a gyakorlatban?
A 65%-os átlag nem jelenti automatikusan, hogy az automatizálás 65%-ban megoldott lenne: a pontszámok gyakran a könnyebb rubrikapontokon mutatott sikerre épülnek. Konkrét megfigyelések:
- A modellek jobban teljesítettek egyértelműen definiált feladatoknál, például kódírásnál és adatelemzésnél.
- Nyílt végű, ítélőképességet igénylő feladatoknál rosszabbul szerepeltek, például minták felismerése példákból vagy kísérlettervezés.
- Példa a hibára: amikor GPT‑6 Astra pilot kísérleteket hajtott végre, a modellezendő rendszerek tokenkeretét túl alacsonyra állította, ezért a futások 22%-a nem adott vissza választ. A modell ezt a sikertelenséget a modellek képességeire vonatkozó fontos megállapításként értékelte, holott a probléma a kísérleti beállítás hibája volt.
- Grafikai feladatnál, amikor Fable 5.1‑hez sok példát adtak az Epoch vizuális stílusáról, a modell egy túlzsúfolt, információval telített grafikont készített, amely nem kommunikált hatékonyan. Ugyanazt a feladatot emberi Epoch dizájner tiszta, egyszerű diagram formájában adta vissza.
Ezek az eredmények rávilágítanak arra, hogy bár az AI kimenetek hasznos kiindulópontot adhatnak, a hibákat embernek kell észrevennie és javítania. Még ha a modellek 65%-ban emberi minőséget produkálnak is, a maradék 35% olyan hiányosságokat tartalmazhat, amelyek miatt a végső munkát el kell utasítani vagy átdolgozni.
Hol látszik már automatizáció a gyakorlatban?
A jelentés szerint egy egyszerűbb feladatra — alapvető diagramgenerálás — már nem volt szükség a teljes értékelésre, mert Claude Fable 5.1 egy próbálkozással elfogadható diagramot tudott előállítani a legtöbb esetben. Ennek eredményeként az Epoch részben automatizálta ezt a lépést napi munkafolyamataiban. Ez a példa azt mutatja, hogy amikor a modellek elérik a „humán minőség” küszöbét egy adott feladatnál, az gyorsan átfordulhat gyakorlati gazdasági hatássá.
Következtetés
A jelenlegi eredmények arra utalnak, hogy a vezető AI‑modellek jelentős előrelépést mutatnak a teljesítményben, de még nem érték el azt a szerkesztési pontosságot és ítélőképességet, amely lehetővé tenné a széles körű automatizálást. Ahogy a modellek tovább javulnak és egyre több feladatnál elérik a 100%-hoz közeli minőséget, várhatóan nőni fog az automatizáció és ezáltal a gazdasági hatás is. Az Epoch Automation Reports célja, hogy ezen a mérési skálán közelebb vigye a benchmarkokat a valós munka követelményeihez, és pontosabban megmutassa, mely feladatok automatizálhatók biztonsággal.
