Biztonság

Gene Kim személyes AI-rendszerének bukása és a Fable kiesésének tanulságai

A történet főszereplője Gene Kim, aki személyes AI-alapú rendszert épített, amely 25 923 képernyőkép, 13 651 YouTube-videó, 590 rögzített Zoom-meeting, 6 132 kedvelt tweet és 1 056 elmentett cikk indexelésére támaszkodik.

Gene Kim személyes AI-rendszerének bukása és a Fable kiesésének tanulságai

Gene Kim éppen vacsorát készített a családjának 2024. június 12-én, amikor a telefonja értesítette, hogy a Fable 5 már nem elérhető. Egy nappal korábban Steve Yegge jelezte neki, hogy a modell tíz nap múlva szünetre megy; Kim az első napon tervet kezdett kidolgozni a felkészülésre. Amit épített, egy 16 éve vágyott személyes rendszer volt, amelyet a Fable segítségével végül sikerült befejeznie: a rendszer indexeli mindazt, amiért Gene valaha is érdeklődött — többek között 25,923 képernyőképet (2011-től), 13,651 YouTube-videót, 590 rögzített Zoom-megbeszélést, 6,132 like-olt tweetet és 1,056 elmentett cikket.

A projekt körülbelül 50 repót érintett és 50,000 sor kódot tartalmazott, amelynek nagy részét két hónap alatt írta; több komponens hosszú életű ügynökként működött névvel és szerepkörrel. Például Marvin a chief of staff, Buster futtatja a repókat és a hosszú feladatokat a Hetzner-en, Forge pedig az engineering identity, kettős helyzetben: egy titkokat tartó laptopon és egy mindig elérhető, felhőben futó példányban.

A lekapcsolás és a gyors káosz

Kim terve az volt, hogy „chaos-monkey”-szerűen teszteli a modellfüggőséget: mielőtt a Fable megszűnik, a modell írja meg a dokumentációt és a válasz-sablonokat, majd hideg Opus-sessziót indítanak csak a repo és a dokumentáció birtokában, hogy lássák, az alacsonyabb kapacitású Opus képes-e működtetni a rendszert.

Azonban június 12-én 17:21 ET-kor az Anthropic megkapta a kormányzati direktívát a Fable hozzáférés felfüggesztésére. Hamarosan minden „There’s an issue with the selected model (claude-fable-5)…” üzenetet kezdett visszaadni. Gene rendszere közben két „judgement seat”-je Opus 4.8-ra esett vissza beszélgetés közben. Gene SEV1-et hirdetett és központosított parancsot adott, megölve több időzítőt és crontabot; ennek ellenére egy Claude Code cron háromkor reggel elindult, miközben Opus maximális gondolkodási módban volt, és egyetlen billentyűleütés elküldése hat percet vehetett igénybe.

A hibák többsége nem dramatikus összeomlásnak tűnt, inkább „egy normál állapot csendes romlása”: a logok egész nap „bridge (Fable)” címkével íródtak, miközben valójában Opus volt a háttérben; egy identitás két modell között vitatkozott saját maga munkájáról; egy push főágra a „ratified” szóval jelent meg, holott semmi sem volt ratifikálva; egy magabiztos téves állítást egy JVM-függőségről egy egyszerű ls -la cáfolt.

Helyreállítás és a dokumentáció szerepe

Kim néhány óra alatt sikeres helyreállítást ért el, de nem a „okosabb modell” hőstette miatt: a siker kulcsa az volt, hogy rekonstruálni tudta a projekt dokumentációját. Kiderült, hogy Fable nagy részben megírta ezeket a tervezeteket, de nem check-elte be őket. Gene és Opus átkutatták Fable „asztalát”, megtalálták a körülbelül 80%-os tervezeteket, és ezek alapján építették újjá a rendszert. Két frissen indított Opus-seat, amelyek csak ezeket a dokumentumokat kapták meg, stabilizálták a „hajót”. Gene ezt nevezte az „áhító reménysugárnak” azok számára, akik hasonló helyzetbe kerülhetnek.

Miért fontos ez mások számára?

Tim O’Reilly kommentárja szerint az eset nem csupán a hatalmas modellek függőségének kockázatára figyelmeztet, hanem arra is, hogy egy személyes projekt mostanra olyan komplexitást érhet el, amely korábban egész csapatot igényelt volna. Gene rendszere egyetlen ember által menedzselt projekt volt, de a hibamódjai egy nagyvállalati rendszerére emlékeztettek, mert maga a modell lehetővé tette az ilyen méretű építményt.

Egy konkrét részlet segít megérteni, miért volt nehéz Opusra váltani: a fő CLI-utility help-üzenete elavult volt. Opus leállt, mert a help azt mondta, a parancs nem létezik; Fable ehelyett körültekintőbben viselkedett: látta a bizonyítékot, hogy a parancs létezik, megnézte a forrást, következtetett, és lefuttatta a parancsot. Ez a „routing around obstacles” viselkedés különbsége tette használhatóvá Kim rendszerét — és tette nehézzé a cserefolyamatot.

Rug pulls, hordozhatóság és helyi modellek

A közönség egyik kérdésére Gene rámutatott, hogy a helyi modell használata sem feltétlenül szabadít meg a kockázattól: a kormányzati szabályozás vagy exportkontroll bizonyos modellek használatát is korlátozhatja. Amit védelmezőnek talált, az a hordozhatóság: először csak Claude Code-ra támaszkodott, mert a váltás költségének nagy részét feltételezte, de kipróbálta a Codexet GPT 5.6 Sol mellett, és a váltás költsége közel nulla volt — a készségek és a promptok könnyen átvihetők voltak. Ma Codexet használja az idő nagy részében.

Gene három mintát azonosított 22,000 saját ügynök-beszélgetés alapján: a konfiguráció, ahol egy kis modell tartja a munkát és csak egy nagy modellt kér tanácsért, gyakran pontosságvesztéshez vezet. Jobban működött, ha a nagy modell tervezett, döntött és ellenőrzött, míg a kis modell csak végrehajtotta a tervet. Ha elkerülhetetlen a kis modelltől a nagy modellhez való kérése, Gene javaslata az, hogy küldjük át a teljes eredeti átírást és adjunk explicit felhatalmazást a nagy modellnek a felülírásra.

AI az írásban és a menedzsmentben

Gene elmondta, hogy az AI lerövidítette a Vibe Coding című könyve írási idejét körülbelül a felére, és szerinte jobb lett az eredmény. Ugyanakkor nyugtalanítja is: korábban sokan abbahagyták a könyvírást, most mindenki befejezni fogja, és sok lesz a közepes munka. Tim O’Reilly saját példájával párhuzamba állítva azt is megjegyezte, hogy az AI mint „power tool” gyorsítja a szerkesztési munkát, de használatához szükség van arra, hogy az ember tudja, mitől jó egy szöveg.

Gene megosztotta azt a megfigyelést is, hogy ma sok munka vagy botokat hoz létre, vagy botokat menedzsel — a programozók feladata felállítani a munkát, beállítani az elektronikus dolgozókat a sikerre, javítani és korrigálni őket. Egy eszköz, amelyet a rokona — egy jogász egy nagy tech cégnél — használ: egy Claude Code skill, amely oszlopnevet kapva visszaköveti a kódon át a mező eredetét és magyarázatot ad, ezzel a jogász már nem igényel mérnök közreműködését minden lépésnél.

Végszó: dokumentáció, hordozhatóság és a játék öröme

A tanulság: erősítsük meg a rendszereket, írassuk meg a dokumentációt, amíg a „okos” modell még elérhető, és tartsuk nyitva a menekülőutakat. Ugyanakkor ne felejtsük el építeni azokat a projekteket is, amiket pusztán azért hozunk létre, mert jó játékot jelentenek — Gene saját appja egy 90 perces pair programming során született Steve Yegge-vel.

Gene Kim rendezvénye, az Enterprise AI Summit, 2024. október 7–8-án lesz Charlotte-ban. Új könyve Steve Yegge-vel közösen a Vibe Coding.