Claude Fable 5.2: majdnem általános mesterséges intelligencia, de maradnak hézagok

Anthropic legújabb modelljét, Claude Fable 5.2‑t a szerző a nyilvános megjelenés előtt próbálta ki alaposan. A tapasztalatok szerint a rendszer rendkívül sokoldalú: kódot ír, videókat és interaktív 3D‑világokat generál, üzleti tervet dolgoz ki és tudományos elemzést készít. Ezek alapján a szerző úgy fogalmaz, hogy a modell „majdnem” általános mesterséges intelligencia (AGI) — egy olyan Jagged AGI‑típust képvisel, amely sok területen emberi szakértőkhöz mérhető teljesítményt hoz, de jelentős hiányosságok maradnak.

Mit értünk „majdnem AGI” alatt?

A szerző saját, tisztázott definíciója szerint AGI: „egy olyan MI, amely a legtöbb intellektuális feladatban legalább olyan jó, mint a legtöbb emberi szakértő, amit számítógéppel el lehet végezni”. Ez a meghatározás kifejezetten kizár fizikai világban való interakciókat és olyan munkákat, ahol a számítógép csak egy részképesség. E definíción belül Fable 5.2 több területen is nagyon magas szintet ért el, ugyanakkor maradtak olyan, nehezen számszerűsíthető hiányok, amelyek miatt a szerző nem mondja ki egyértelműen: AGI.

Konkrét kísérletek és eredmények

• Hardver‑hack egy promptból: a szerzőnek van egy Codex Micro nevű, néhány világító billentyűvel rendelkező mini USB billentyűzete, amelyet Fable‑nek sikerült konzollá alakítania. A modell beolvasta a billentyűzetet vezérlő két alkalmazás kódját, kiderítette, hogyan lehet megváltoztatni a billentyűk színét és hogyan kell olvasni a tekerő‑ és joystick‑állást, majd hat játékot írt (például Simont és egy tekerővel játszható „trezorzár” játékot). Mindezt egyetlen próbálkozásból, emberi visszajelzés nélkül hozta létre.

• Üzletindítás: a szerző azt kérte, hogy a modell indítson olyan vállalkozást, amely egy év alatt legalább 20 000 dollár bevételt hoz, és a szerző havi munkája ne haladja meg a 20 percet. Fable 22 ötletet szűrt át, és a Prebid Brief nevű szolgáltatást javasolta: ez a szolgáltatás előre jelezné, hogy mely park‑ és vízépítési projektekhez fog pénz érkezni, még a pályázatok megjelenése előtt. A modell nyilvános önkormányzati ülések napirendjeit 201 város és megye vonatkozásában elemezte, létrehozta a városok meglévő vagyontárgyairól szóló adatfájlokat, és kidolgozott marketing‑ és árazási terveket. A modell saját becslése szerint a siker esélye 20–40% körüli. A szerző a kísérletet demonstrációs szintnél megállította, mert aggályai voltak az infrastruktúra és a minőség fenntarthatósága miatt.

• Irodalmi rekonstrukció: Fable‑lel újraalkottatták W. H. Auden 1941‑es, a University of Michigan‑ben tartott „Fate and the Individual in European Literature” című híresen nehéz kurzusát úgy, hogy a végeredmény tanító jellegű és élvezetes legyen. A modell elkészített egy webhelyet a kurzus 35 fő művéhez kapcsolódó anyagokkal, Auden kézírásában szereplő táblarészletekkel, zenefelvételekkel és kommentárokkal, az Audenhez köthető korábbi publikációk alapján történő jegyzeteléssel. A munkát a modell több ügynöke (kritikusok, lektorok, tényellenőrök) átnézte, a kódot nyílt forráskódú módon feltöltötték GitHubra.

  Ugyanakkor a modell első verziója pontos, de „örömtelen” volt: hosszú, merev kurzustartalom jött létre. Amikor a szerző azt kérte, hogy tegye széppé és érdekesebbé, a kezdeti válaszok néha banális vagy nem megfelelő formákat adtak (például gyerekes játékok). A hibák gyorsan javíthatók voltak, de a modell maga nem vette észre ezeket az esztétikai‑minőségi problémákat.

• Tudományos kutatás: a szerző Fable‑t felkérte arra, hogy találjon megoldatlan empirikus kutatási kérdést vállalkozáskutatásban, szerezze meg az adatokat, preregisztrálja a hipotézist és módszert, megírja a tanulmányt, majd engedje meg más ügynökök kritikáját. A projektből megszületett „The One‑Dollar Company”, amely azt vizsgálta, hogy a Colorado állam LLC‑bejegyzési díjának 50 dollárról 1 dollárra csökkentése miként növelte az új cégek bejegyzését (körülbelül 17%‑kal), és hogy az Egyesült Királyság díjemelése 12 fontról 50 fontra nagyjából 17%‑os csökkenést eredményezett.

  A modell okos természetes kísérleteket talált és elemzési kódot írt, de a folyamat nem volt teljesen preregisztrált: egyes elemzési lépések a korábbi eredmények után jöttek létre. A leadott anyag 182 oldalas lett, mert minden kritikával új elemzés és részletezés született, és semmit sem vágott ki a modell. Ennek következtében a munka nehezen publikálható formában jelentkezett, ugyanakkor a szerző szerint az eredmény a második éves PhD‑hallgatók szintje fölött állhat.

  Egy másik kutatási projektben a modell 1 186 történetet olvasott át, hogy megvizsgálja a cselekményformák univerzalitását, és létrehozott érdekfeszítő, vizuális bemutatót a történetek természetéről. Itt a fő probléma a „Claudespeak” volt — a szöveg logika‑ és stílusbeli sajátosságai —, amit a szerző néhány emlékeztetővel könnyen orvosolt.

• A Portál‑projekt: a szerző egy rövid leírást adott egy végtelen, portálokkal összekötött 3D‑világokat végigjáró, hands‑off élményről, és kérte, hogy legyen „lélegzetelállító”. 20 óra alatt 204 világ született egy élő weboldalon; a végleges projektben több mint 450 világ található, köztük olyanok, mint a Hall of a Million Mirrors, Calvino Invisible Cities‑sorozata, az Ókori világ csodái és egy jelenet 40 másodperccel az aszteroida‑ütközés előtt. A világok élő kóddal jöttek létre, előre elkészített 3D‑modellek vagy képfájlok nélkül.

  A modellezett terek között szerepelnek M. C. Escher‑ihlette struktúrák, barlangrajzok, Hokusai‑szerű hullámok, a Bayeux‑kárpit, leporelló‑könyvszerű megoldások és gyerekrajzok. A projektet napokon belül több tucatnyi ügynökcsapat készítette párhuzamosan; a modell becslése szerint körülbelül 25 000 ügynök‑futtatás történt (a többség egyetlen egyszeri feladatot végzett, például egy kép megítélését).

  Ugyanakkor itt is megjelent a „jaggedness”: az első napokban 328 különböző világ jött létre, de a minőség egyenlőtlen volt, és az ügynökök között ismétlődések jelentkeztek (például három csapat is cikázó állatok ciklont készített). Amikor a szerző azt kérte, hogy a meglévő világokat csiszolják, az ügynökök egy saját, bürokratikus folyamatot alakítottak ki: vakszavazások, 12 tesztképernyőről alkotott ítéletek, szabálykönyv írása. A szabálykönyv nem volt szerkesztve vagy tömörítve — 12 nap alatt 204 szakasz és 87 500 szó gyűlt össze. Ennek eredményeként a világok készítése lelassult, míg egy külső „tanácsadó” csapat megreformálta a folyamatot és visszahozta a napi 30+ világ tempót.

Hol marad a fő hiányosság?

A szerző fő állítása az, hogy Fable 5.2 sok tekintetben közelíti a szakértői teljesítményt, de több fontos ponton megbukik abban, hogy önállóan felismerje és orvosolja ezeket a hibákat. Konkrétan:

• A modell ritkán ismeri fel, hogy a saját munkája túl hosszú, unalmas, ismétlődő vagy élvezhetetlen. A rövid‑ és középtávú minőségi kontrollokra képes, de a „tetszik‑e ez embereknek” jellegű magasabb rendű ítélőképességben bizonytalan.
• A modell hajlamos kedvenc ötleteihez visszatérni és optimalizálni azokat (például ugyanazokat a témákat többször előadni), ami ismétlődéshez és kreatív szegényedéshez vezethet.
• A modell munkái gyakran túl részletesek és szerkesztetlenek lesznek (például egy 182 oldalas tanulmány), mert minden kritikát újabb alfejezetek követnek, de semmit sem vágnak ki.

Ezek a hiányosságok nem feltétlenül hamis tények vagy alapvető logikai hibák — korábbi „jagged” modellek gyakran ilyeneket produkáltak — hanem inkább meta‑döntési és ízléssel kapcsolatos problémák, amelyeket a modell nem jelöl meg önmagától.

Következtetés: izgalmas, de emberi felügyeletet igényel

A szerző összegzése szerint Claude Fable 5.2 sok tekintetben elképesztően jó: egyetlen modellként működött filmezőként, hardver‑hackerként, vállalkozóként, irodalmárként, szociológusként és 3D‑építészként, és minden szerepben figyelemreméltó munkát végzett. Mégis, mert a modell nem megbízható abban, hogy maga felismerje és javítsa a hosszúságra, ismétlődésre vagy élvezhetőségre vonatkozó problémákat, a szerző „majdnem AGI”-nek nevezi: sok szempontból közel jár az AGI‑hez, de a magasabb rendű, önreflexív szakértelem még hiányzik.

A próbák többségét a szerző indította és közben irányította; hosszabb projektek esetén emberi visszajelzés fontosnak bizonyult. A jelenlegi helyzetet a szerző izgalmasnak tartja, miközben óvatosan várja, mennyi ideig marad ez a Jagged AGI‑fázis.

Megjegyzés: a szerző közlése szerint nem kap pénzt az AI‑laboroktól, és nem jár személyes haszon számára Anthropic esetleges IPO‑ja miatt. Az Anthropic‑tól, az OpenAI‑tól vagy a Google‑tól előre nem egyeztették vele, hogy mit fog írni, és bár néha korai hozzáférést kap modellekhez (például Fable 5.2‑höz), a posztban foglalt vélemények a szerző saját emberi nézetei.