A Google ma bejelentette a Gemini 3.5 Transcribe nevű új beszéd-szöveg modelljét, amelyet pontosabb, kontextusérzékeny hangalapú interakciókra fejlesztettek. A cég szerint a modell a hagyományos beszédfelismerő rendszerek gyengeségeit — például a háttérzajt, a szakszavakat és a beszédhelyreigazítások kezelését — jobban kezeli, és nyers hangfelvételekből tisztán, formázott szöveget állít elő.
Hol és hogyan érhető el
Gemini 3.5 Transcribe fejlesztők számára elérhető a Gemini API-n keresztül a Google AI Studio-ban és a Gemini Enterprise Agent Platformon. A szolgáltatás kétféle API-hozzáféréssel érkezik:
- Real-time streaming: folyamatos, kétirányú stream alatti szolgáltatás alacsony, másodperc alatti késleltetéssel a Live API-n keresztül, gemini-3.5-transcribe-live modellnévvel.
- Pre-recorded audio processing: rögzített hanganyagok (megbeszélések, hívásnaplók stb.) átirata előre- és visszamenőleges attribúcióval és szó-szintű időbélyegekkel az Interactions API használatával, gemini-3.5-transcribe néven.
A modellt már beépítették fogyasztói felületekbe is: például a Gemini alkalmazásba macOS-en és a Rambler funkcióba Androidon, valamint további Google-termékekbe (Gboard, Google Antigravity, Chrome-elérés ígérete).
Főbb képességek és teljesítmény
- Okos átirat: a modell kezeli az önjavításokat (például a „találkozzunk kedden — nem, szerdán” típusú fordulatokat), eltávolítja a töltelékszavakat (például „öhm”, „öö”), és automatikusan formázza a szöveget.
- Funkcióhívások: a rendszer képes más Gemini-modellek felé funkcióhívásokat indítani összetett feladatokhoz (például képgenerálás vagy fájl-elemzés). A Google szerint ez a képesség jelenleg elérhető a Gemini macOS alkalmazásban.
- Pontosabb átirat: a Google idézi az Artificial Analysis méréseit, amelyek szerint a modell átlagos Word Error Rate (WER) értéke 4,0% streaming esetén és 2,6% nem-streaming (előfeldolgozott) használatnál. Emellett a Gemini 3.5 Transcribe jelentős javulást mutat a korábbi Chirp 3 modellhez képest: a végleges átiratig eltelt idő például 70%-kal rövidebb. A FLEURS benchmarkon a modell streaming módban 5,50% WER-t, nem-streaming esetben pedig 5,04% WER-t ért el egyes kiemelt nyelveken és helyszíneken.
- Testreszabható szókincs: a modell felismeri a speciális zsargont és egyedi helyesírásokat, ha fejlesztők erre vonatkozó kiegészítő kifejezéseket adnak meg.
- Többnyelvűség és dialektusok: automatikus nyelvfelismeréssel több mint 85 nyelvet támogat, és kezel regionális akcentusokat.
- Többbeszélős azonosítás: előre rögzített hangfelvételeknél pontosan hozzárendeli a beszélőket és szó-szintű időbélyegeket ad legfeljebb három beszélő esetén (a 3+ beszélő támogatása kísérleti fázisban van).
Alkalmazások és integrációk
A Google hangsúlyozza, hogy a Gemini 3.5 Transcribe jól illeszkedik fejlesztői munkafolyamatokhoz: hangalapú ügynökök, valós idejű feliratozás és utólagos híváselemző csővezetékek építhetők rá. A Live API-t használó fejlesztői platformok — például Agora, Fishjam, LangChain, LiveKit, Pipecat, Vercel és Vision Agents — már integrálták a valós idejű streaming infrastruktúrát, így a fejlesztők a felhasználói élmény kialakítására koncentrálhatnak.
Néhány konkrét felhasználói integráció és funkció:
- Gboard (Android): a Rambler funkció átalakítja a beszélt gondolatokat jól formázott szöveggé, törli a töltelékszavakat, és hanggal végezhető szerkesztéseket is támogat.
- Google Antigravity: a modell képernyőkontextus és chat-előzmények, felhasználói engedéllyel történő felhasználásával pontosabb átírást biztosít fájlnevek, ügynök-megjegyzések és aktív dokumentumok esetén.
- Google AI Studio: a Build mód révén hangalapú kódalkotás és alkalmazásfejlesztés válik lehetővé.
- Gemini alkalmazás macOS-en: a beszéd átalakul jól formázott szöveggé, és hangparancsokkal összetett munkafolyamatok indíthatók; a háttérben más Gemini-modellek végzik a nehezebb feladatokat (fájlösszegzés, szöveg átemelése alkalmazások között, képgenerálás a kurzornál).
- Chrome: a Google jelzi, hogy hamarosan a böngésző bármely beviteli mezőjében lehet majd beszéddel gépelni.
Visszajelzések és elérhetőség
A Gemini Live API-t használó platformok mellett olyan vállalatok, mint a Vivo, Intellitek Health és Lingopal pozitív visszajelzéseket adtak a modell késleltetéséről, pontosságáról és nyelvi lefedettségéről.
Elérhetőség:
- Fejlesztőknek: nyilvános előnézetben elérhető a Gemini API-n keresztül a Google AI Studio-ban és a Google Antigravity-ban.
- Vállalatoknak: nyilvános előnézet a Gemini Enterprise Agent Platformon keresztül; a Gemini Enterprise for Customer Experience hamarosan kerül bevezetésre.
- Mindenkinek: a Gemini alkalmazás macOS-en angol nyelven, Rambler Androidon kiválasztott országokban és nyelveken, és hamarosan Chrome-hoz is érkezik a funkció.
A Google szerint a Gemini 3.5 Transcribe célja, hogy a beszélt nyelv természetesebb rögzítésével és kontextusérzékeny feldolgozásával könnyítse meg a hangalapú munkavégzést és fejlessze a hangvezérelt alkalmazások képességeit.
