Andrew Stellman rendszeresen használ mesterséges intelligenciát íráshoz, de nem azért, mert az AI jól ír. Éppen ellenkezőleg: szerinte az AI következetesen rossz írása hasznos eszköz lett a munkafolyamatában. Ahelyett, hogy vázlatból indulna ki, sokszor „brain dump”-ot, ötletelést és hangos gondolkodást folytat a modellel; majd amikor elég jegyzet összegyűlt, megkéri az AI-t, hogy írjon egy vázlatot vagy tervezetet. Az így kapott AI-szöveg általában borzasztó, de pont ez a cél: a gép által generált, nyilvánvalóan hibás bekezdések működnek átmeneti helykitöltőként, amelyek alapján a szerző átrendezheti a részeket és később emberi minőségűre cseréli a szöveget.
Mi a „Yoda-speak”?
Stellman egy különösen zavaró AI-tünetet emel ki: a „Yoda-speak”, amikor a modell mondatszerkezete furcsán eltolódik, visszafele ható vagy töredezett sorrendet eredményez — mintha Yoda beszélne. Példaként hozza a saját kéziratából származó mondatot: „The eight pond sentences fill the left region, every word clickable.” Ez nyelvileg szokatlan, és az AI-alkotásokban visszatérő mintát mutat. Amikor Stellman Claude Opustól segítséget kért, a rendszer is „Yoda-speak” kifejezést használta a leírásra.
Egy másik problematikus, megtévesztő mondat az attention mechanizmusról szólt: „What’s left is to let the two heads’ work combine, so run the combined eight numbers through one more small table, eight in and eight out, square, called the output projection.” A mondatból nagyjából kivehető, miről van szó, de a töredezett, vesszőkkel szabdalt szerkezet miatt nehezen értelmezhető.
Miért történik ez? — Egy szó, egy lépés: autoregresszió
Stellman emlékeztet arra, hogy a nagy nyelvi modellek (LLM-ek) „következő szó” jóslók: a modell minden egyes lépésben előrejelzi a következő tokent, és miután egy szót generált, az részévé válik a kontextusnak. Általában nem tud visszamenni és átrendezni már generált szavakat. Ha egy mondat közepén további jellemzők, részletek jelennek meg a modell „tudatában”, de a főnév már kikerült, akkor ezek a kiegészítések gyakran a mondat végére kerülnek, és a szekvencia így válik kuszává.
Stellman hivatkozik továbbá egy 2024-es tanulmányra (Wilson Wu, John X. Morris és Lionel Levine: „Do language models plan ahead for future tokens?”), amely szerint bizonyos esetekben a modellek előkészíthetnek információt későbbi tokenekhez; ez azonban nem ugyanaz, mint hogy a modell utólag átrendezze a már leírtakat.
A második, „jobb” verzió jelensége
Gyakran előfordul, hogy egy AI egy mondat után rögtön azt írja: „A jobb megfogalmazás:” — és újrafogalmaz. Stellman elmélete szerint a modell önjavítási kísérletei és a Yoda-speak egy és ugyanazon alapvető korlátra vezethetők vissza: a modell nem képes módosítani, amit már kibocsátott, így a jó változat gyakran csak a később generált szakaszban jelenik meg.
Kísérlet Astra és Luna segítségével
Stellman kis kísérletet végzett OpenAI Astra modelljével, amely Luna alügynököket indított, mindegyiknek majdnem azonos promptot adva, kis módosításokkal. A cél az volt, hogy reprodukálja a furcsa mondatszerkezeteket és megnézze, vajon az input formája hatással van-e a kimenetre.
Elsőként egy egyszerű példánál a tényeket teljes mondatokként adták meg (kerékpár: kék, keskeny váz, ezüst csengő, kopott bőrülés; a kerékpár a garázs mellett támaszkodik; Rina munkába jár vele, hétköznaponként odakocsizik és lezárja a biciklit). Luna normál, természetes tagolású bekezdést írt. Ugyanazokat a tényeket megváltoztatott sorrendben adva a modell továbbra is rendezett választ adott.
A kísérlet következő részében egy fiktív eszközhöz (a „feed throat”, egy acéllal kiképzett nyílás, amin agyagtáblákat lehet átvinni) adták a tényeket. Ha a tények teljes mondatokként szerepeltek, Luna természetes relatív mellékmondatot alkotott: „The feed throat is a tapered steel slot, a hand’s width across, through which a clay tile slides.”
Amikor viszont a prompt szabályozta, hogy a válasznak egy adott rögzített kezdőszöveggel kell indulnia (például: „Slide the clay tile through one more steel slot”), majd a kiegészítő tényeket rövid töredékekként adták meg („a hand’s width across tapered called the feed throat”), a modell a töredékeket sorban a főnév után illesztette: „Slide the clay tile through one more steel slot, a hand’s width across, tapered, called the feed throat.”
Ugyanez a minta előállt egy másik példa esetén is: „Rest the cracked bowl inside one more padded cradle, two palms wide, crescent-shaped, called the handling saddle.” A kísérletben a különbség kizárólag az volt, hogy a tények teljes mondatokként vagy töredékekként érkeztek-e.
Következtetések és korlátok
Stellman szerint az eredmények arra utalnak, hogy a modell másolja az input formáját: ha a tényeket töredékesen adjuk meg, a modell hajlamos töredékes, felsorolt kiegészítéseket létrehozni a főnév után — és mivel autoregresszív, nem tudja visszarakni őket oda, ahol logikailag inkább lennének. Ez összhangban van azzal a feltevéssel, hogy az attention mechanizmus érzékeny a prompt szerkezetére, míg az autoregresszió megakadályozza az utólagos átrendezést.
Stellman elismeri a kísérlet korlátait: nincs belső hozzáférése ahhoz, hogyan súlyozza a modell a tokeneket vagy mit csinál pontosan az attention. Nem lehet biztos abban sem, hogy a modell már „tudta-e” a tényeket, mielőtt a főnév megjelent. Mégis a külső megfigyelés eredményei megfelelnek annak a magyarázatnak, hogy miért jelenik meg a Yoda-szerű szófordulat és miért ad gyakran az AI egy „jobb” változatot csak utólag.
Miért fontos ez?
A magyarázat segít megérteni, miért lehet a gépi szövegkimenet bizonyos hibákkal terhelt, és hogyan befolyásolhatja a prompt formája és sorrendje a generált nyelvet. Stellman megközelítése pragmatikus: a hibák felismerése és szándékos használata hasznos vázlatkészítő eszközzé teheti az AI-t, ugyanakkor a jelenség ismerete segíthet jobb promptok kialakításában vagy a modellek finomhangolásában, ha a cél az emberihez közelebb álló mondatszerkezet.
Rövid összegzés
Az úgynevezett Yoda-speak részben annak az eredménye lehet, hogy a modell a prompt alakját és a tények szerkesztettségét követi (attention), majd mivel autoregresszív módon nem tud szerkeszteni a már kibocsátott szavakon, a hátramaradó részleteket a mondat végére illeszti. Az ilyen megértés hasznos lehet írók és fejlesztők számára, akik jobb promptokkal vagy utólagos szerkesztéssel mérsékelhetik a jelenséget.
