A Google bejelentette az SL2T (sign‑language‑to‑text) nevű, nagynyelvű jelnyelv‑szöveg fordító modelljét, és bevezeti az első fogyasztói funkciókat, amelyekkel siket és nagyothalló felhasználók jelelés alapján írhatnak szöveget. A szolgáltatás a Pixel 11 készüléken jelenik meg Gboardban és Live Transcribe alkalmazásban, az első támogatott irány az American Sign Language (ASL) → angol.
Mit tud az SL2T és hogyan használható
Az SL2T lehetővé teszi, hogy a felhasználók jeleléssel diktáljanak olyan helyzetekben, ahol egyébként gépelnének: webkeresés, üzenetek vagy dokumentumok megfogalmazása, illetve kérdések megválaszoltatása a Geminivel. Live Transcribe‑ban a beszélgetésekre adott válaszok jelelhetők, így nem kell gépelni. A Google tesztelői szerint ASL‑ben jelelni gyorsabb és kényelmesebb, mint angolul gépelni.
Technikai kihívások és megközelítés
A cég hangsúlyozza, hogy a jelnyelvek nem egyszerűen „az angol kézen”, hanem önálló természetes nyelvek saját grammatikával és lexikonnal. A jelnyelv‑feldolgozás két alapvető kihívása: egyrészt valódi gépi fordításra van szükség, másrészt a modellnek a mozgás vizuális megértését kell elsajátítania — a kéz, kar, törzs, fej és arc egyidejű mozgásait pontosan követve, nagy képkocka‑sebesség mellett.
Az SL2T ezeket figyelembe véve készült: a megközelítés egyszerre kulturálisan érzékeny és nagyméretű adathalmazokkal skálázott. A modellt több mint 100 000 órányi anyagon képezték több mint 50 jelnyelvből; az adatok mintegy negyede ASL.
Adatvédelem: landmarkok, nem videó
A felhasználói magánélet védelmére az SL2T nem közvetlen kameraképet küld a szervernek, hanem a jelelő testpontjainak koordinátáit (pose landmarkok) használja. A készüléken futó MediaPipe Holistic modell követi a jelent, és csak ezek a geometriai pontok kerülnek feldolgozásra a fordításhoz, a nyers videó azonnal törölhető.
Műszaki megoldások és teljesítmény
Az SL2T közvetlenül a landmark‑sorozatból fordít szöveggé, megkerülve a korábbi munkákban gyakran használt, de korlátozó „gloss” köztes annotációkat. A Google közlése szerint ez eltávolítja a mesterséges szókincskorlátokat és a fordítási minőség adatfüggő skálázódását teszi lehetővé.
Fontos mérőszámoknál, például az FLEURS‑ASL (sd‑test) benchmarkon az SL2T kimagasló eredményt ért el: zero‑shot körülmények között 70 BLEURT pontszámot, amely a közlés szerint jelentősen jobb, mint a korábban publikált eredmények. A fejlesztés során nemcsak a benchmark‑eredményekre figyeltek: a Google csökkentette a streaming késleltetést, kezelni próbálja a nem‑jelelő bemenetekre vonatkozó téves aktiválásokat, figyelembe veszi a balkezes jelelők (kb. 10%‑ra becsült arány) és az egykezes jelelés teljesítményét.
Közösségi együttműködés és irányítás
A projektet a Deaf közösséggel együttműködve alakították: a kezdeményezés részleteiben részt vett Sam Sepah, egy siket Google‑alkalmazott, a adatgyűjtés, felhasználói vizsgálatok és hatáselemzések során Deaf partnerekkel dolgoztak. A felelős bevezetés irányítására létrehozták az AI Sign Language Advisory Committee (AISLAC) tanácsadó testületet, amely több nemzetközi Deaf szervezetet és szakterületi szakértőt fog össze.
A Google és partnerei közösen készítettek egy hatásvizsgálati beszámolót az SL2T 1.0 Gboardban és Live Transcribe‑ban történő megjelenéséhez, amely részletesen bemutatja a technológia képességeit és jelenlegi korlátait.
További tervek
A bejelentés szerint az ASL‑bevitel telefonokra csupán az első lépés. A Google célja, hogy a jelnyelvek elérése a beszélt és írott nyelvekkel egyenrangú legyen: dolgoznak további jelnyelvek, jelnyelv‑generálás és egyéb fejlett AI‑képességek kiterjesztésén. A szolgáltatást először a Pixel 11‑en lehet kipróbálni Gboardban és Live Transcribe‑ban, a cég szerint további eszközök és nyelvek érkeznek, minden további költség nélkül.
Köszönetnyilvánítás
A közlemény felsorolja a Google DeepMind és Android csapatainak tagjait, akik az SL2T fejlesztésében és integrálásában szerepet játszottak: Garrett Tanzer, Benoit Brard, Elizabeth Clark, Tim Dozat, Sebastian Ebert, Dan Garrette, Manfred Georg, Vicky Holgate, Shankar Kumar, Mohammad Saboorian, Miloš Stanojević, Megh Umekar, John Wieting, Andy Zhang és Chris Dyer; valamint az Android integrációs csapat: Ausmus Chang, Sai Aditya Chitturu, Dayle Chiu, Anna Chou, Ajay Dudani, Angana Ghosh, Alex Huang, Joanne Kim, Ed Lee, Thomas Lin, James Su, Yanchao Su és Sharlene Yuan. További támogatók és korai tesztelők nevei is szerepelnek a közleményben.
A közlemény hangsúlyozza, hogy a projekthez kapcsolódó további nyelvek és eszközök később válnak elérhetővé, és a fejlesztést a közösséggel folytatott együttműködés kíséri.
