Craig Hewitt, a Castos podcast-tárhely alapítója a Zero to Agent in 30 Minutes adásában mutatta be, hogyan használja a Codex alkalmazás hangmódját a fejlesztői környezete vezérlésére anélkül, hogy a billentyűzetet érintené. A bemutató során elmagyarázta, miben különbözik a hangmód a hagyományos diktálási eszközöktől, és milyen lépéseken keresztül irányítja a böngészőt és más helyi alkalmazásokat.
Lépésről lépésre: beállítás és munkamenet
-
Böngésző és számítógép-hozzáférés engedélyezése: a Codex alkalmazásban engedélyezni kell a számítógép használatát és beállítani a böngésző-hozzáférést, hogy az ügynök (agent) weboldalakkal és más alkalmazásokkal dolgozhasson. Craig azt javasolta, hogy a legtöbb alkalmazáshoz és webhelyhez való hozzáférés előtt kérjen jóváhagyást az ügynöktől.
-
Hangmód indítása: elindítva a voice mode-ot, a felhasználó beszélgetés jellegű utasításokkal adhat feladatokat. Craig hangsúlyozta, hogy a hangfelület aktív marad az alkalmazások között váltva is, így nem kell folyton visszatérni a chathez.
-
Böngészőfeladatok kiosztása: a bemutatóban az ügynököt weboldalak megnyitására, információkeresésre és oldalak navigálására utasította. Rutin feladatokra — például űrlapok kitöltésére — is használta, ha az ügynök már rendelkezett a szükséges kontextussal.
-
Több alkalmazás között dolgoztatás: a számítógép-használat lehetővé teszi, hogy a munkafolyamat kiterjedjen a böngészőn túlra. Craig demonstrációjában az ügynök megnyitotta a Cursor alkalmazást, megtalált egy konkrét repositoryt, jelentést készített a nem elkötelezett (uncommitted) változásokról, majd a jóváhagyás után elkövette (commit) ezeket a változtatásokat.
-
Oldaltartalom hozzáadása a beszélgetéshez: bemutatta, hogy a weboldal egy részét kijelölve közvetlenül be lehet másolni a chatbe, így az ügynök megkapja azt a kontextust, amellyel egy adott felület elemeire vonatkozóan tud cselekedni.
Kockázatok és jogosultságkezelés
Craig részletesen kitért a jogosultságok szűkítésének fontosságára. A böngésző- és számítógép-vezérlés valódi kockázatot jelenthet, például nem kívánt műveletek vagy a webtartalomból eredő prompt injection formájában. Ennek kezelésére ő:
- jóváhagyást kér a legtöbb alkalmazáshoz,
- szélesebb hozzáférést csak kiválasztott eszközöknek és helyi fejlesztői oldalnak ad,
- elkerüli a nem megbízható webhelyeket,
- és emberi felülvizsgálatot tart a döntéseknél.
Craig tapasztalata szerint a voice mode lehetővé teszi, hogy beszélgetés formájában irányítsa a böngészőt, alkalmazásokat és bizonyos kódolási feladatokat, de a bemutató felveti a delegálás etikai és gyakorlati kérdését is: mennyit vagyunk hajlandók átengedni az ügynöknek. A megoldás nála a jogosultságok szigorú szabályozása és a feladatokhoz kötött jóváhagyás volt.
Mi következik
A Zero to Agent in 30 Minutes következő adásában Jayeeta Putatunda, a Turing forward deployed AI engineering leadje, egy olyan ügynököt fog felépíteni, amely segíti a pénzügyi elemzőket a folyamatosan érkező információk kezelésében: a bemutatóban az ügynök pénzügyi híreket kategorizál, sorba rendezi a cikkeket az elemzők lefedettségi profiljai alapján, és megmagyarázza, miért érdemes figyelmet fordítani egy-egy fejleményre.
