Annie Wang szerint egy ügynök (agent) jobbá válhat a feladatában anélkül, hogy új modellt kapna: képes lehet megtalálni a releváns információt, kiválasztani a megfelelő eszközt vagy ellenőrizni, hogy egy feladat valóban befejeződött-e, mielőtt sikerként jelentené. Hogy ezek a tapasztalatok a következő feladatra is hatással legyenek, valaminek meg kell őriznie az új tudást: frissített utasításnak, memóriában elmentett leckének vagy magának a futtató szoftvernek a megváltoztatásának.
Wang számára az önfejlődő ügynök lényege az, hogy a tapasztalatok alapján megváltoztassa a jövőbeli működését. A legtöbb ilyen változás a „harness”-ben történik: az utasításokban, a kontextusban, a rendelkezésre álló eszközökben és a modellt körülvevő szoftverben. Kutatások, például a Harness-RSI, azt vizsgálják, hogyan módosíthatják az ügynökök ezt a harness-t miközben ugyanazt a modellt használják.
Ugyanakkor a változtatás ronthat is a teljesítményen: egy elmentett emlék téves lehet, vagy egy új utasítás megoldhat egy problémát, de újat hozhat létre. Wang három részre bontja az önfejlődést: az értékelésre (hogyan tudjuk megmondani, hogy javult-e valami), az autonóm javítási folyamatra (ki viszi előre a munkát), és arra, hogy a harness mely részeit engedjük az ügynöknek megváltoztatni.
Értékelés: mi számít előrelépésnek?
Mielőtt az ügynököt önjavításra kérnénk, világosan meg kell határoznunk, mi lenne a „jobb” teljesítmény. Egy modell pontszáma egy benchmarkon csak azt mutatja meg, hogyan szerepelt azon a teszten. Egy ügynök értékeléséhez azonban azt is ellenőriznünk kell, hogy a megfelelő információt használta-e, a helyes lépéseket tette-e, és teljesítette-e a felhasználó követelményeit.
Wang egy oktatási célú vacsoratervezési feladatot ír le példaként: az ügynök kap egy csoport igényeit és étterem-információkat, majd javasoljon helyszínt és időpontot. A siker könnyen megítélhető: mindenki tud-e ott enni, megfizethető-e, és odaérnek-e időben?
Egy vizsga során az ügynök helyes éttermet ajánlott, de az értékelés mégis elutasította a megoldást, mert a rendszer egy minta-válasszal hasonlította össze a szöveget. Wang kiemeli, hogy az értékelésnek a követelmények teljesülésére kell fókusznia (ár, diétás igények, időzítés), nem pusztán lexikai egyezésre. Ha foglalási lépést is kérünk, ellenőriznünk kell, hogy a foglalás valóban létrejött: egy „foglaltam a asztalt” üzenet nem elegendő — a rendszernek ellenőriznie kell, mit tett és mit mondott.
Amikor az ügynök javasol egy változtatást, A/B tesztelni kell az új és a régi verziót: az új verziónak nemcsak az eddigi jól megoldott eseteket kell megőriznie, hanem új, korábban nem látott esetekkel is jól kell boldogulnia. Az értékelésnek hibameghatározásokat is kell adnia (például: „a vacsora ára meghaladta a vendég költségvetését”), hogy az ügynök tudja, hol keresse a problémát.
Autonóm javítás: ki végzi a munkát?
Ha minden hibát egy mérnöknek kell észrevennie és kijavítania, a fejlődés továbbra is emberfüggő marad. Az autonóm javítás azt jelenti, hogy a rendszer maga is végezzen felülvizsgálatokat: átnézzen korábbi feladatokat, ismétlődő hibákat keressen, javasoljon változtatásokat és tesztelje azok hatását.
Például egy önállóbb vacsoratervező észreveheti, hogy ismétlődően olyan éttermeket ajánl, amelyek a vendégek költségvetésénél drágábbak, még ha a költségvetés adatai rendelkezésre is állnak. Javasolhat egy új utasítást: szűrje ki az összes olyan éttermet, amely meghaladja bármelyik vendég költségvetését, mielőtt összehasonlítja a maradék lehetőségeket. Ezután a rendszer teszteli az új utasítást más csoportokon; ha javulnak az eredmények és a korábban jól megoldott esetek továbbra is működnek, megtartja a változást.
Wang kétféle munkát különböztet meg: az ügynök feladatköre alatt zajló ciklust (tervez, használ eszközöket, olvassa az eredményeket és dönt), valamint azokat a visszatekintő folyamatokat, amelyek megváltoztatják a jövőbeli közelítést. Az ügynök önállóan tervezhet vacsorát, de az autonóm javítást fokozatosan lehet rá bízni: kezdetben vizsgálatot végezhet és javaslatot tehet, majd mérnöki jóváhagyást kérhet, később bizonyos változtatásokat önállóan is megtarthat. A csapat dönt arról, mit módosíthat, mennyi időt vagy pénzt költhet kísérletezésre, és mikor kell emberi beavatkozás.
A felülvizsgálat nem feltétlenül történik minden egyes kérés után; elindulhat több hasonló hiba összegyűjtése után vagy éjszakai összefoglalóként. Több feladat együttes áttekintése segít felismerni az ismétlődő problémákat.
A harness moduljai: mit engedjünk fejlődni?
Wang szerint amikor az ügynök rossz döntést hoz, először meg kell találni az okot, mielőtt csak az utasításokat módosítanánk. Ha például a vendég költségvetése soha nem jut el a modellhez, az „Figyelj a költségvetésre” utasítás nem segít — helyette azt kell javítani, hogyan kerül be az információ a modell kontextusába.
A ModularRSI megközelítés öt részre osztja a harness-t: kontextuskezelés, ügynök-ciklus (agent loop), eszközhasználat, megfigyelés-kezelés és a feladat-befejezés detektálása. Ezeket részletesen tanulmányozva világosan feltehetjük a kérdést: melyik rész módosítható és hogyan.
-
Kontextuskezelés: Wang számára ez a legfontosabb. Meghatározza, milyen információ van a modell előtt a döntéshozatalkor, beleértve azt is, hogy mely emlékek kerülnek be a jelen feladatba. A reflektív memória azt jelenti, hogy visszanéz a korábbi eseményekre és elment egy olyan leckét, ami a jövőben hasznos lehet (például: mindig ellenőrizd a költségvetéseket és diétás igényeket, mielőtt éttermet ajánlasz). A memória különbséget kell, hogy tegyen általános szabályok és konkrét tények között: "ellenőrizd a költségvetést" általános lecke, míg "ez a vendég 25 dolláros költségvetéssel rendelkezik" konkrét tény.
Wang említi a „dreaming” (álmodás) módszert, amely a munkamenetek közötti memóriarendezést jelenti: a rendszer átnézi a korábbi interakciókat és elmentett információkat, összefűzi a kapcsolódó megfigyeléseket és hasznos leckéket ment. Ha emlékek ellentmondanak egymásnak, vissza kell nézni az eredeti bizonyítékokat, mielőtt eldöntenénk, mit tartunk meg. Anthropic megoldása, a Dreams, egy ilyen újrarendezett emlékkészletet hoz létre, amelyet később felül lehet vizsgálni.
A cél, hogy jobb kiindulópont legyen a következő feladathoz: az ügynök találjon hasznos leckét anélkül, hogy minden korábbi beszélgetést újra el kellene olvasnia. Az éjszakai memóriaszervezés csak akkor számít előrelépésnek, ha a módosított emlékek valóban javítják a teljesítményt új feladatokon.
-
Ügynök-ciklus (Agent loop): az ügynök tervezi a lépéseket, cselekszik és dönt a következőről. Fejlődhet abban, hogy észrevegye, ha ismétlődően sikertelen megközelítést alkalmaz, és próbáljon mást.
-
Eszközhasználat (Tool use): az ügynök rendelkezésére álló eszközök és azok használata. Hozzáadhat új eszközt vagy megváltoztathat egy eszköz interfészét, hogy kevesebb hibalehetőség legyen.
-
Megfigyelés-kezelés (Observation management): az ügynök kezeli az eszközök visszajelzését. Változtathatja, hogyan foglalja össze egy eszköz eredményét, hogy egy fontos tény ne vesszen el.
-
Feladat-befejezés detektálása (Task completion detection): az ügynök eldönti, mikor végzett. Például ellenőrizheti, hogy egy foglalás tényleg létrejött-e, mielőtt késznek jelentené a feladatot.
Ezek a részek kölcsönhatásban állnak: egy eszközváltoztatás megváltoztathatja az ügynök által kapott információt, ami további döntéseket befolyásol. Modulonkénti tesztelés segít megérteni a változás hatását, a teljes rendszer tesztelése pedig megmutatja, hogy a modulok együtt továbbra is jól működnek-e.
Rekurzív javulás és a végső cél
A javítás rekurzív lesz akkor, ha az ügynök a frissített harness-t használja a következő javítási kör végrehajtására. Ha például megváltoztatja, hogyan keres korábbi futásokban példákat egy hibára, a következő alkalommal már ezzel az új keresési móddal dönt arról, mit vizsgáljon és teszteljen. Egy körben megtartott változtatás így alakítja a következő kört.
Ez lehetőséget ad arra, hogy az ügynök javuljon mind a feladatvégrehajtásban, mind a saját javítási folyamataiban. Minden kör az előzőben megtartott módosításokra épít. Hogy valóban hasznos-e ez, azt úgy tudjuk ellenőrizni, ha megnézzük, a későbbi körökben hozott változtatások jobban működnek-e új feladatokon.
Wang végső célja egy olyan ügynök, amelyre kevesebb ismételt korrekció szükséges, mert jobban megtanulta a feladatát. Emellett fontos, hogy mindig meg tudjuk mutatni, mit tanult az ügynök, mi változott a harness-ben, és hogyan ellenőriztük, hogy a változás tényleg javított a teljesítményen — majd ezt az új leckét érdemes új feladatokkal is ellenőrizni.
