Az Epoch több vizsgálatot közölt az AI-képességek alakulásáról: egy belső tesztben hat modellnek adtak 11, valós Epoch-munkához hasonló feladatot, és arra jutottak, hogy a rendszerek még nem váltják ki a munkavállalókat. Ugyanakkor a modellek gyorsan fejlődnek: hat hónap alatt jelentősen javult a teljesítményük a Slay the Spire videojátékon, továbbá a Google DeepMind Gemini 4 Argon közelebb került a teljesítményszint élvonalához. Emellett az Epoch benchmark-revíziókat indított és több álláslehetőséget hirdetett meg.
Tudnak-e az AI-modellek munkát automatizálni az Epochnál?
Az Epoch kutatói, köztük Kelly Hong és Greg Burnham, azt vizsgálták, hogy hat vezető AI-modell mennyire képes elvégezni az Epochnál előforduló feladatokat. A tanulmány, "Can AI automate Epoch?", 11 feladatot tartalmazott öt területről: grafikai tervezés, rövid kutatási jelentések írása, interaktív adat-eszközök készítése, AI adatközpontokhoz kapcsolódó kutatás és kutatás-tervezés.
Minden modell nagyjából ugyanazt a kontextust kapta, amit egy új belépő alkalmazott kapna (saját munkaterület és Google-fiók). A modellek feladatonként egyszeri próbát kaptak emberi segítség nélkül.
Eredmények:
- Claude Fable 5.1 és GPT-6 Astra nagyjából holtversenyben végeztek az élen.
- Egyetlen modell sem érte el következetesen az Epoch által elvárt minőséget a sokrétű, nyitott végű feladatoknál.
- A frontier zárt súlyú modellek (closed-weight) jobban teljesítettek jól definiált feladatokban, mint a kódolás és adatfeldolgozás.
- A modellek gyengébben szerepeltek nyitott végű ítélkezést igénylő feladatokban, például kísérlettervezésben és eredmények értelmezésében.
- Az open-weight modellek még a jól körülhatárolt feladatoknál is elmaradtak.
A kutatók megfogalmazása szerint a jelenlegi modellek "még nem helyettesíthetik a dolgozókat, legalábbis az Epochnál". Ugyanakkor a kapcsolódó területeken folyamatosan növekszik az AI-képesség.
Mennyire javul az AI?
Gyors előrelépés a Slay the Spire videojátékon
Az Epoch új benchmarkja, SpireClimb, a Slay the Spire nevű pakliépítős stratégiai játékon méri a hosszú, összetett feladatok kezelésére való képességet. A játék megoldása nagy döntési fákat, képernyőinterakciókat és hosszú, megszakítás nélküli játékot igényel — azaz olyan készségeket, amelyek fontosak lehetnek számítógépes munkák automatizálásához.
Benjamin Ou és Simon Chen kutatók azt találták, hogy hat hónap alatt a frontier modellek a kezdeti nehézségekről eljutottak odáig, hogy az alapnehézségi szinten több mint 90%-os győzelmi arányt érjenek el; GPT-6 Astra például 98%-kal nyert alapfokon. A legnehezebb fokozaton GPT-6.1 Sol 20%-os, míg Astra 17%-os győzelmi arányt ért el; a többi tesztelt modell gyakorlatilag nem nyert futamokat.
Mivel a Slay the Spire közel egy évtizede jelent meg, a modellek sok korábbi ismerettel rendelkezhetnek a játékról. Ennek kiderítésére a kutatók kipróbáltatták velük az idén megjelent Slay the Spire 2-t is. A folytatás legnehezebb fokozatán Astra 35%-os győzelmi arányt ért el — ez magasabb az eredetin mért arányánál, bár a folytatás legnehezebb beállítása könnyebb. Mivel a modellek kevesebbet tudnak az új játékokról, a jó teljesítmény azt jelzi, hogy nem kizárólag korábbi tudásuk hajtotta az eredményeket.
Összehasonlításképpen a legjobb emberi játékosok az eredeti játék legnehezebb fokozatán becslés szerint 85%-os, a folytatáson pedig körülbelül 95%-os győzelmi arányt érnek el.
Open-weight modellek lemaradása a zárt frontierhez képest
Jaeho Lee és Alexander Barry egy Data Insight-ban az open-weight és closed-weight modelleket hasonlította össze a Cyber ECI (egy kiberbiztonságra fókuszáló változat az Epoch Capabilities Indexből) segítségével.
- A legjobb open-weight modell Z.ai GLM-5.3, amely 160 pontot ért el. Ez magasabb, mint GPT-5.4 (157, március), és közvetlenül alatta helyezkedik el GPT-5.5-nek (162, április) és Claude Mythos Preview-nak (165, április).
- Ez azt jelenti, hogy a legjobb open-weight modell nagyjából ott áll, ahol a frontier zárt modellek voltak 6–7 hónappal korábban.
- Eközben a zárt frontier továbbra is előrehalad a kiberbiztonsági eredményekben: Claude Opus 5.5 és GPT-6 Astra egyaránt 171 pontot értek el.
A cikk megjegyzi, hogy egyes modellek pontszámai kevés teszt alapján származnak, ezért óvatos értelmezést javasolnak.
Gemini 4 Argon és a frontier
A Google DeepMind nyilvánosságra hozta a Gemini 4 Argon modellt 2024. október 13-án, miután szeptember 30-án korlátozott hozzáférést biztosított partnercégeknek. A modell jelenleg 166 pontot ért el az Epoch Capabilities Indexen, amivel Claude Fable 5.1-gyel holtversenyben áll. Claude Opus 5.5 és GPT-6 Astra 169, míg GPT-6.1 Sol 168 ponttal vezeti a listát.
Ez a Gemini legközelebb álló közelítése az élvonalhoz azóta, hogy februárban megjelent a Gemini 3.1 Pro, és jelentős előrelépést mutat a szeptember eleji Gemini 3.8 Flash (157) értékéhez képest.
A Gemini 4 Argon erősségei a tudásalapú, ügynökjellegű (agentic) feladatok és képfeldolgozás voltak; gyengébb pontjai a matematika és a szoftvermérnöki feladatok, ahol jelenleg a math indexen a 8., a software engineering indexen pedig a 6. helyen áll.
Benchmark-revíziók
Az Epoch elindította a Benchmark Reviews kezdeményezést, amelyet Michelle Campeau vezet, és amelynek célja külső AI-benchmarkok független leellenőrzése és értékelése. Ha egy benchmarknak egy vagy több érdemi hibája van, amely befolyásolhatja az eredmények helyes értelmezését, azt "Flawed" (hibás) címkével látják el; ha megfelel az elvárásoknak, "Verified" (ellenőrzött) címkét kap.
A legújabb körben négy új felülvizsgálat jelent meg: 1 Verified és 3 Flawed. Négy további benchmark esetében nem állt rendelkezésre elegendő információ a véleményezéshez. Az Epoch célja a benchmarkok minőségének javítása független auditokkal.
Az Epoch saját benchmarkjait nem ők maguk vizsgálják: külső audittal, a Generality Labs-szal végeztetik el az ellenőrzéseket. Eddig a Chess Puzzles és az EBR-bench auditjai készültek el, amelyek és az Epoch válaszai elérhetők a szervezet weboldalán.
Karrierlehetőségek
Az Epoch gyorsan bővül és több pozícióra keres munkatársakat, többek között:
- Researcher / Senior Researcher
- Designer / Senior Designer
- Design Lead / Head of Design
- Product Manager, Website
- Senior Writer & Editor
- Social Video Producer
- Special Projects Associate (expression of interest)
Az álláspályázatok folyamatosan nyitva állnak; az érdeklődők általános "Expression of Interest" benyújtására is lehetőség van.
Záró megjegyzés
Az Epoch vizsgálatai szerint bár az AI-képességek gyorsan javulnak és egyes feladatokban már magas szintű teljesítményt mutatnak, a jelenlegi modellek nem teljesítik következetesen azokat a minőségi elvárásokat, amelyek szükségesek lennének a munkavállalók közvetlen kiváltásához az Epochnál.
