Az Anthropic legújabb kutatása azt vizsgálja, miként használhatják a Claude nevű nyelvi modellek az üresjárati időket arra, hogy áttekintsék, javítsák és rendszerezzék korábbi „emlékeiket”. A fejlesztők a folyamatot emberi „álmodáshoz” hasonlítják: az üresjáratokban végzett memóriaselekció hozzájárulhat ahhoz, hogy a modellek hatékonyabban dolgozzanak hosszú, több munkameneten átívelő feladatokon.
Mi a probléma?
AI-alapú ügynökök működése közben rengeteg napló- és jegyzetfájlt hoznak létre maguknak. Ezek a feljegyzések gyakran tartalmaznak minden felmerülő részletet, ami átláthatatlan adattömeget eredményezhet: részletek elavulhatnak, fontos kontextusok kimaradhatnak, vagy pontatlan információk rögzülhetnek, amelyek később téves válaszokat eredményeznek.
A „álmodás” koncepciója
Az Anthropic kutatói az emberi álmodás analógiájára hivatkozva azt javasolják, hogy a modellek üresjárataikban szelektíven vizsgálják felül memóriafájlaikat. Ennek során kiszűrik a hibás vagy felesleges adatokat, összevetik a naplóbejegyzéseket az eredeti forrásokkal, és strukturált, wiki-szerű tudásbázist építenek, amely a későbbi munkamenetek során könnyebben használható.
Pokémon Red-kísérletek: jegyzetmennyiség vs. hasznosság
A csapat a problémát a Pokémon Red videojátékon tesztelte. Két modellt hasonlítottak össze körülbelül tízezer játékbeli lépés után. A tavaly év elején bemutatott Sonnet 3.7 modell szinte mindent leírt: több mint négyszáz fájlban összesen közel egymillió karaktert rögzített. Ennek ellenére a Sonnet mindössze egyetlen jelvényt szerzett meg a játékban. Ezzel szemben az idén megjelent Claude Fable 5 modell csak tíz fájlba és mintegy 40 ezer karakternyi jegyzetet készített, de négy jelvényt gyűjtött be.
Az Anthropic szakértői szerint a Fable 5 előnye abból adódhatott, hogy jegyzeteléskor nem minden részlet tárolására törekedett, hanem a navigációs stratégiákra, a tanulságokra és az aktuális célokra koncentrált. Így elkerülte a játékfelületről közvetlenül leolvasható adatok felesleges tárolását.
Memóriakorrekció gyakorlati példája
A kutatók egy másik Pokémon-teszten azt tapasztalták, hogy a modell hibásan rögzítette egy épület helyét, ezért onnan kilépve ismételten eltévedt. Amikor a rendszer offline felülvizsgálat során összehasonlította a jegyzeteit az eredeti naplóval, felismerte a tévedést, frissítette a memóriafájlt, és a javított adatokkal már továbbjutott a következő városba.
Nagy dokumentumgyűjteményekből wiki építése
Annak tesztelésére, hogy a módszer skálázható-e, az Anthropic egy vállalati környezetből származó, nagy dokumentumhalmazzal dolgozott. A Stainless nevű szoftvercég körülbelül 350 ezer belső dokumentumát — összesen nagyjából 420 millió tokent — adták át a rendszernek. A modell 128 külön munkamenet alatt fokozatosan felépített és finomított egy saját, összekapcsolt wiki-tudásbázist.
Ennek a tudásbázisnak a használatával a modell teljesítménye egy 25 kérdéses teszten 13-ról 48 százalékra javult.
Egy vállalati M&A-kísérletben, ahol több forrás összekapcsolása volt szükséges, a Claude a saját wikijére támaszkodva 87 százalékos pontossággal válaszolt, míg közvetlen dokumentumkereséssel 73 százalékos pontosságot ért el.
Műszaki és felügyeleti kihívások
A memóriakarbantartás folyamata jelentős számítási kapacitást igényel, és a túl sok információ kezelése továbbra is túlterhelheti a rendszert. Emiatt az Anthropic hangsúlyozza, hogy az automatizált memóriakonszolidáció gondos felügyeletet és tervezést kíván.
Következtetések
A kísérletek azt mutatják, hogy a tudatosabb, üresjáratokban végzett memóriamenedzsment csökkentheti a jegyzetek okozta zajt, javíthatja a pontosságot és hatékonyabbá teheti az AI-ügynököket összetett, több munkameneten átívelő feladatok esetén. Ugyanakkor a módszer számításigényessége és a felügyeleti igények miatt további fejlesztések és gazdasági mérlegelés szükséges ahhoz, hogy széles körben alkalmazható legyen.
A cikk előkészítésében AI-asszisztens működött közre; a végső tartalmat újságíró szerkesztette és ellenőrizte.
