Nvidia szerdán nyilvánosságra hozta a Nemotron 3.5 Transcribe nevű, nyílt súlyú beszédfelismerő modellt, továbbá közzétette a Granary beszédadatbázis második verzióját (Granary v2). A vállalat közlése szerint a Transcribe rögzített hanganyagot tud átírni legfeljebb 40 nyelven.
Milyen képességeket ígér a modell?
Nvidia szerint a Nemotron 3.5 képes 31 nyelvet angolra és angolból visszafordítani, képes kezelni legfeljebb egy órás felvételeket, és akár nyolc különböző beszélőt is meg tud különböztetni egy felvételen. A cég állítása szerint a modell több benchmarkon is megelőzi riválisait, többek között a Hugging Face Open ASR Leaderboard rangsorolásában.
Egy fontos működési korlátozás: a Transcribe rögzített hanganyaggal dolgozik, élő közvetített (livestream) beszédet nem támogat.
Műszaki részletek és futtatási lehetőségek
A Nemotron 3.5 Transcribe 30 milliárd paraméteres modellként szerepel, és Nvidia azt mondja, hogy egyetlen chipen is képes futni. A támogatott hardverek között említik a Jetson AGX Thor robotikai vezérlőt, a DGX Spark lapkát, amely az új laptopokban is megtalálható, valamint a Blackwell adatközponti GPU-kat.
A modell részét képező nyílt súlyú megközelítés illeszkedik Nvidia korábbi beszédmodelleihez, köztük a kis, 1,1 milliárd paraméteres Parakeethez.
Célpiac és fejlesztői eszközök
Nvidia elsősorban azoknak a fejlesztőknek és cégeknek szánja az eszközt, akik üzleti megbeszélésekhez vagy orvosi átiratok készítéséhez fejlesztenek alkalmazásokat — ez a két terület az AI munkahelyi alkalmazásainak korábban is erős szereplője volt. A vállalat azt javasolja, hogy a modell, a Granary v2 adatbázis és olyan eszközök, mint a NeMo Speech modell együtt lehetővé teszik a fejlesztők számára, hogy iparági zsargont és terminológiát is megtanítsanak az alkalmazásoknak nyelvek szerint.
Piaci környezet
A Nemotron 3.5 megjelenése több más, hanggal kapcsolatos AI-készítmény közzététele mellett történik: a Mistral a hónap elején adta ki a Voxtral 3-at, az ElevenLabs elindította a Realtime szolgáltatást valós idejű beszédelőkészítéshez, és a Salesforce közzétette a Launa-Omni hangmodellt.
