Anthropic október 22., 2024-i bejelentése szerint a Claude 3.5 Sonnet legújabb változata képes a hagyományos számítógépes felhasználói interakciók modellezésére: a megfelelő szoftveres környezetbe integrálva képernyőképeket értelmez, mozgatja a kurzort, kattint a megfelelő helyeken és virtuális billentyűzeten gépel be adatokat. A képesség jelenleg nyilvános bétában érhető el.
Miért számít ez?
A cég szerint sok modern munka közvetlenül számítógépen zajlik, ezért az, hogy egy AI ugyanúgy tudjon szoftvereket használni, mint egy ember, számos új alkalmazást tesz lehetővé, amelyeket a jelenlegi asszisztensmodellek nem tudnak ellátni. Az elmúlt években történt előrelépések — például a komplex logikai következtetés és a képfeldolgozás — után a következő lépcsőként Anthropic a „számítógép‑használat” képességét jelöli meg.
A kutatás folyamata
A fejlesztés alapját a korábbi munkák adták, amelyek a multimodalitásra és eszközhasználatra fókuszáltak. A számítógép‑használatnál alapfeltétel a képernyőképek látása és értelmezése, valamint annak megtervezése, mikor és hogyan hajtson végre műveleteket. Claude betanítása során külön figyelmet fordítottak arra, hogy a modell pontosan számolja a pixeleket, mert ennek hiányában nehéz pontos egérparancsokat adni.
A kutatók meglepődtek azon, milyen gyorsan tudott a modell általánosítani a néhány egyszerű szoftveren (például számológép és szövegszerkesztő) végzett képzés alapján — a tréning során a modell nem kapott internethozzáférést biztonsági okokból. A tanítás után Claude képes volt egy felhasználói utasítást logikai lépéssorozattá alakítani és azokat a képernyőn végrehajtani; a modell gyakran önkorrekciót és újrapróbálkozást is mutatott, ha akadályba ütközött.
A mindennapi használat szempontjából állításuk szerint jelenleg a Claude a legjobb abban a kategóriában, ahol a modellek emberi módon, a képernyőt nézve cselekszenek. Egy, a fejlesztők számítógép‑használati próbálkozásait tesztelő OSWorld értékelésen Claude 14,9%-ot ért el; ez jóval elmarad az emberi szinttől (általában 70–75%), de jelentősen jobb a következő legjobb modell 7,7%-os teljesítményénél.
Biztonság és kockázatok
Anthropic hangsúlyozza, hogy minden új AI‑képesség új biztonsági kihívásokat hoz. A cég szerint a számítógép‑használat elsősorban a meglévő kognitív képességek alkalmazásának egyszerűsítését jelenti, ezért főként a jelenlegi károkozásokra kell figyelni, nem pedig távoli jövőbeli, „frontier” fenyegetésekre. Az értékelés alapján a frissített Claude 3.5 Sonnet jelenleg AI Safety Level 2‑nek felel meg, tehát nem igényel szigorúbb biztonsági intézkedéseket a cég jelenlegi standardjai szerint.
Ugyanakkor Anthropic arra is figyelmeztet, hogy a számítógép‑használat növelheti a problémák súlyát, ha a jövőben magasabb AI Safety Levelt (3 vagy 4) igénylő modellekkel párosul. Azzal az elképzeléssel haladnak előre, hogy jobb most bevezetni a számítógép‑használatot, amíg a modellek még relatíve alacsony biztonsági szinten vannak, és így korán lehet kezelni a felmerülő problémákat.
A Trust & Safety csapatok részletes elemzései több, potenciális sérülékenységet azonosítottak. Különösen hangsúlyos a „prompt injection” veszélyezettsége — olyan támadások, ahol rosszindulatú utasítások jelennek meg a modell által feldolgozott tartalomban, és a modellt a felhasználói szándéktól eltérő műveletek végrehajtására késztetik. Mivel Claude képernyőképeket értelmezhet olyan számítógépekről is, amelyek internetre csatlakoznak, ilyen tartalmakkal való találkozás lehetséges.
A nyilvános bétában résztvevő fejlesztőknek Anthropic óvintézkedéseket javasol a kockázatok csökkentésére, és referencia‑megvalósítást (reference implementation) tett közzé iránymutatásként. Emellett a cég különféle osztályozókat és módszereket fejlesztett ki a szándékos visszaélések felismerésére és mérséklésére.
Fokozott figyelemmel kísérik a választásokkal összefüggő potenciális visszaéléseket is: a közelgő amerikai választások miatt Anthropic külön rendszereket állított be arra, hogy észlelje, ha Claude‑t választásokhoz kapcsolódó tevékenységre kérik fel (például közösségi média posztolására, domainregisztrációra vagy kormányzati webhelyekkel való interakcióra), és hogy ösztönözze a modellt arra, hogy elutasítsa vagy visszafogja ezeket a kéréseket. A cég vállalja, hogy a bétafázis alatt folyamatosan felülvizsgálja és javítja ezeket a védelmi intézkedéseket.
Korai korlátok és felhasználói tapasztalatok
Anthropic is elismeri, hogy a jelenlegi számítógép‑használat lassú és gyakran hibákkal terhelt. Számos, emberek által rutinszerűen végzett művelet (például húzás, nagyítás) még nem elérhető. Claude képernyőnézete „flipbook” jellegű: egymást követő képernyőképeket dolgoz fel, nem folyamatos videót, ezért könnyen kimaradhatnak rövid ideig látható értesítések vagy akciók.
A fejlesztők demonstrációi során felmerült néhány mulatságosabb hiba: az egyiknél Claude véletlenül leállított egy hosszú képernyőfelvételt, így az összes felvétel elveszett; egy másik esetben a kódolási demóból „eltávolodva” Yellowstone Nemzeti Park fényképeit kezdte böngészni.
Mi várható tovább?
Anthropic szerint a számítógép‑használat más megközelítést hoz az AI‑fejlesztésbe: eddig a fejlesztők gyakran a modellekhez igazították az eszközöket, most pedig a modellt próbálják úgy készíteni, hogy illeszkedjen a már létező szoftverkörnyezetekhez. A cél az, hogy Claude képes legyen előre létező szoftvereket ugyanúgy használni, mint egy ember.
A cég elismeri, hogy még sok munka van hátra: a sebesség, megbízhatóság és a fejlettebb interakciók fejlesztése prioritás. Anthropic arra kéri a nyilvános bétában részt vevő fejlesztőket, hogy visszajelzéseikkel segítsék a továbbfejlesztést a biztonság és hasznosság egyensúlyának megtartása mellett. A visszajelzési űrlapot a bejelentéshez mellékelték.
