A Google DeepMind bemutatott egy kísérleti megoldást: egy Gemini nyelvi modellre épülő mutatót, amely az egérkurzort AI-vezérlő felületté alakítja. A lényege, hogy a felhasználó rákattint vagy a kurzort egy képre, térképre, menüre, PDF-re vagy weboldali elemre irányítja, majd természetes nyelven megfogalmazza a kérést. A rendszer egyszerre olvassa a kurzorral jelölt objektumot, a képernyőkörnyezetet és a parancsot, így képes értelmezni a „ez”, „az”, „itt” és „ott” hivatkozásokat, amelyekre a kurzor mutat.
Mire lehet hatással a gyakorlatban?
A bemutatott előrelépés kereskedelmi szempontból könnyen értelmezhető. Ha megbízhatóvá válik, a megoldás lehetővé teszi, hogy a felhasználók ne külön csevegőablakot nyissanak meg, hanem közvetlenül a böngészőben vagy alkalmazásban mutatva adjanak parancsot. Ezáltal minden weboldal, dokumentum, kép, kosár, utazáskeresés és vállalati műszerfal potenciálisan AI-vezérelt felületté válik.
Google szolgáltatások — például Chrome, Workspace és Android — és későbbi hardveres termékek integrációjával a Gemini nem csupán egy alkalmazássá, hanem a felhasználói szokás részévé válhat: a gépértelmezés ígérete az, hogy a kurzorral mutatott elem és a hozzá kapcsolódó szándék közötti réteget a modell kezeli.
Mi a gyakorlati jelentősége?
A fontos következtetés az, hogy az egérkurzor „agyat” kapott: a felhasználói szándék és a képernyőn lévő objektumok közötti közvetítő rétegért immár a nyelvi modell felelhet. Ha ez megbízhatóan működik, a következő felhasználói felületért folytatott verseny nem pusztán a chat és a keresés között zajlik majd, hanem azon, hogy ki irányítja ezt a réteget és ki határozza meg, miként fér hozzá minden képernyőelemnél az AI.
A demonstrációról közölt információk kísérleti jellegűek; a gyakorlatbeli elterjedés és a megbízhatóság kérdései még nyitottak, különösen adatvédelmi, biztonsági és használhatósági szempontból.
