A Voice Arena és a Hugging Face közösen indította el a Monsoon névre keresztelt, nyílt automatikus beszédfelismerés (ASR) értékelő készleteket a Open ASR Leaderboardon, céljuk olyan hibamódok feltárása, amelyeket az egyszerű átlagos hibaarány (WER) elfed. A Monsoon négy, beszélőben diszjunkt publik/privát felosztást tartalmaz két nyelven: Indian English (en‑IN) és Hindi (hi‑IN). A gyűjtemény hangsúlya nem a rekordóraszám, hanem a széles beszélői sokféleség: összesen 4 888 beszélő szerepel a készletekben, és 12 beszélőattribútumot rögzítettek egyenként.
Miért fontos ez?
A vezető ASR‑benchmarkok gyakran egyetlen számot (például WER) mutatnak, ami jónak tűnhet aggregáltan, miközben a hibaeloszlás nem egyenletes a különböző csoportok között. Korábbi kutatások például faji, életkori és akcentusbeli eltéréseket találtak. A Monsoon célja, hogy a leaderboardon futó értékelésekhez olyan tesztkészleteket adjon, amelyek több dimenzió mentén változnak — földrajz, életkor, nem, szókincs, eszközök, akusztikus környezet, beszédtípus, beszédtempó, és az, hogy egy adott hangfelvételhez több érvényes átírás is tartozhat.
A gyűjtemény felépítése és méretei
Monsoon négy szegmensből áll: Monsoon en‑IN public és private (Indian English), Monsoon hi‑IN public és private (Hindi). A legfontosabb számok:
- Monsoon en‑IN public: 5.62 óra, 1 444 beszélő, átlagos kliphrossz 9.6 s (medián 10.4 s), férfi/nő 50/50, 428 járás, 24 állam/UT, 556 eszköz, konverzációs, spontán stílus, normalizált átírások disfluenciákkal.
- Monsoon en‑IN private: 5.58 óra, 1 405 beszélő, hasonló metaadatok.
- Monsoon hi‑IN public: 1.33 óra, 468 beszélő, átlagos kliphrossz 6.4 s (medián 5.0 s), 202 járás, 11 állam/UT, 315 eszköz, konverzációs, spontán; a transzkripció latticet tartalmaz a helyes ortográfiai variánsokkal.
- Monsoon hi‑IN private: 4.47 óra, 1 571 beszélő, átlagos kliphrossz 6.6 s (medián 5.3 s), 295 járás, 12 állam/UT, 582 eszköz, lattices transzkripció.
A felvételek kettős csatornás, forgatókönyv‑mentes beszélgetésekből származnak; klipenként egy csatornát használnak, így minden klip egy beszélőt tartalmaz. Egyéb rögzített mezők például: foglalkozás, végzettség, házassági státusz, jövedelmi sáv, készülék márkája, jelenlegi város és az adott járásban eltöltött évek száma. Példák az en‑IN publikus felvétel‑metaadatokra: 29 éves nő, West Tripura, samsung SM‑G781B; 57 éves férfi, Puducherry, Xiaomi M2006C3LI stb.
Tervezési elvek: sok beszélő, nagy variancia
A Monsoon célja, hogy a mérés ne egy-két gyakori hangra épüljön. Több fontos jellemző:
- Nagyon alacsony beszélői dominancia: a tíz legnagyobb hozzájáruló 2.8–6.8% közötti részt ad, a beszélők többsége pontosan egy szegmenst szolgáltat.
- Széles földrajzi és eszköz lefedettség: az en‑IN publikus készlet 428 járásból származik; az eszközmodellek száma 315–582 között mozog, egyetlen modell sem ad több mint 2.1% szegmenst.
- Akcentusok sokfélesége: az indian English felvételek mind a hat zónát képviselik; az en‑IN publikus készletben a déli hozzájárulás 35%, kelet 18%, közép 18%, észak 16%, nyugat 11%.
Ezek az adatok lehetővé teszik az olyan elemzéseket, amelyek megmutatják, hogy egy modell teljesítménye hogyan függ a beszélő régiójától, életkorától, eszközétől vagy más attribútumoktól.
Transzkripció és ortográfiai kezelések
A források szerint a referenciaátírások emberi munkán alapulnak: első körben belső ASR modellek nyers átírását javítják anyanyelvi nyelvészek, ötlépcsős felülvizsgálati protokollal, külön munkamegosztással és független ellenőrzéssel. Számok szóban vannak írva; annotátor viselkedés automatikusan nyomon követett.
A Hindi esetében az ortográfiai variációk meghaladják a normálizáló automatikus megoldásának képességét: gyakori a kódváltás, az angol eredetű szavak Devanagari írásmódjának ingadozása és egyéb írásbeli alternatívák. Emiatt a hi‑IN készletek latticet szállítanak: minden szórészre az elfogadott helyes írásmódok felsorolása. A latticen alapuló értékeléshez a Monsoon a Orthographically‑Informed Word Error Rate (OIWER) metrikát használja (AI4Bharat által bevezetett módszer), ami úgy igazolja a felismerést, hogy bármely elfogadott írásmód helyesnek számít. Az összehasonlító próbák azt mutatják, hogy egyetlen referenciára lapított értékelés növeli a hibaarányt és megváltoztatja a modellek rangsorát, mert a konvencionális WER részben az annotátor ortográfiai választásait díjazza. A Monsoon nyilvánossá tette a voi‑oiwer implementációját reprodukálhatóság céljából.
Gyűjtés, toborzás és minőségellenőrzés
A közreműködők a Voice Arena közösségén keresztül kerültek toborzásra; párok kétcsatornás, peer‑to‑peer felvételeket rögzítettek saját eszközökön és hálózaton. A gyakran alacsony kategóriás készülékek és instabil sávszélesség szándékosan megmaradt a kiadott hanganyagban, hogy tükrözze a terepi körülményeket. Minden jelentkező nyelvtudás‑szűrésen esett át; részesültek díjazásban és beleegyeztek a felhasználás feltételeibe. Beszélőnként időkorlátot is alkalmaztak, hogy megakadályozzák a túlságosan produktív szereplők dominanciáját.
Minőségellenőrzési lépéseknek minősítés‑ellenőrzés, jelteljesítmény (SNR) szűrés, automatikus lejátszott tartalom detektálás, gender‑megerősítés és DNSMOS P.808 ellenőrzés részei voltak. Szegmentálás hangaktivitás‑detekcióval történt; minden szegmens egy csatornás és egy beszélős. A transzkripció több lépcsős, független javítással és verifikációval készült.
Példa elemzés: regionális eltérések az en‑IN publikusan
Az Open ASR Leaderboardon ugyanazon publikusan értékelt en‑IN szegmensre nyolc modell 4.81–4.99 WER között teljesített — kis különbség, amelyet az öt óra körüli adatmennyiség határoz meg. Ha azonban a beszélőket régió szerint csoportosítjuk, a modellek közötti különbségek jelentősen eltérnek: egyes rendszerek 0.46 pontnyi változást mutatnak zóna szerint, mások akár 1.68 pontot. Két modell, amelyek a korpusz alapján megkülönböztethetetlenek, négyszeres különbséget produkálhatnak abban, hogy teljesítményük mennyire függ a beszélő régiójától. A zóna, amelyet legnehezebb transzkribálni, nem állandó; különböző modellek más‑más zónákat találják legnehezebbnek, ami a modellek sajátosságaira mutat.
Hogyan lehet a modelleket értékeltetni?
A privát felosztások esetében a modelleket az Open ASR Leaderboardra kell felvenni; a Hugging Face csapata végzi az értékelést a privát split(ek)en. A folyamat a leaderboard GitHub oldalán történik: nyiss egy pull requestet, majd a megjelenő model checklist szerint járj el. A Monsoon Indian English bekerült a fő leaderboard oszlopába Voice Arena Monsoon néven, így hozzájárul az átlagos WER‑hez; a privát split az aggregált Private (conversational) oszlopban jelenik meg az Appen és DataoceanAI adatok mellett. A Hindi publikus és privát készletek a Multilingual tabon érhetők el; a modellek csak akkor rangsorolódnak abban a oszlopban, ha támogatják az összes kiválasztott nyelvet.
Mit ad hozzá ez a kezdeményezés?
A Monsoon nem oldja meg önmagában azokat a problémákat, amelyeket egyetlen szám elfed (például nyelvi és ortográfiai sokféleség vagy a ritkábban reprezentált beszélők nehézségei). Amit tesz, hogy láthatóvá teszi ezeket a problémákat egy olyan leaderboardon, amelyet a közösség követ. A részletes metaadatok, a beszélő‑szintű mezők és a Hindi‑lattice/OIWER megközelítés lehetővé teszi, hogy a teljesítménykülönbségek mögött álló okok — ki beszélt és hogyan írják — kinyomozhatók legyenek ahelyett, hogy egyetlen aggregált értéken elvesszenek.
Ezek a négy készlet a Monsoon részét képezik, amely a Voice Arena szélesebb adatgyűjtési kezdeményezése a Globális Déli régiókra orientálva.
