Az Open ASR Leaderboard tovább bővítette a privát kiértékelési adatkészleteit: a Liva AI-val kötött együttműködés révén két új angol akcentusú beszédsplit került be, egyiptomi (Egyptian) és nigériai (Nigerian) változatban.
- Liva AI Conversational EG — Egyptian: 1,34 óra, spontán, beszélgetés jellegű; írásban tagolt, nagybetűsítve, tartalmazza a beszédzavarokat.
- Liva AI Conversational NG — Nigerian: 1,55 óra, spontán, beszélgetés jellegű; írásban tagolt, nagybetűsítve, tartalmazza a beszédzavarokat.
Ez az új közreműködés a korábbi bővítések folytatása: néhány hónappal korábban az Open ASR Leaderboardhoz 11 privát splitet adtak az Appen és a DataOceanAI szolgáltatásából, amelyek scripted és beszélgetés-alapú angol felvételeket fedtek öt akcentusból. Később egy további indiai akcentusú magánsplitet is hozzáadtak Voice Arena-val. A mostani lépéssel tovább növelik a magánadatok arányát a kiértékelésekben.
Miért fontos ez?
A cél kettős: egyrészt növelni az akcentusok és nyelvek képviseletét az automatikus beszédfelismerés (ASR) értékelésében, másrészt növelni a kiértékelések megbízhatóságát azáltal, hogy privát, a közösség számára nem előzetesen hozzáférhető teszthalmazokat adnak hozzá. A szervezők kifejezetten említik a „benchmaxxing” csökkentését: a privát adatok segítenek megakadályozni, hogy a rendszerek kizárólag ismert, nyilvános teszthalmazokra optimalizáljanak.
Részletesebb akcentus-bontás a Private fül alatt
Az új akcentusokkal az Open ASR Leaderboard most részletesebb akcentusstatisztikát mutat be, Kachru három körös modellje alapján (Kachru’s Three Circles). A megjelenített bontások a következők:
- US vs. non-US: a nem-US csoportba tartozik többek között UK, Australia, Canada, India, Nigeria, Egypt.
- Inner Circle vs. Outer & Expanding Circles: az Inner Circle-be sorolják az Egyesült Államokat, az Egyesült Királyságot, Ausztráliát és Kanadát; az Outer & Expanding Circles-be kerül India, Nigeria és Egypt.
A közlemény szerint, ahogy további akcentusok csatlakoznak, az Outer és Expanding köröket tovább bontják majd.
A Liva AI-ról
A Liva AI fogyasztói termékeken keresztül gyűjt multimodális interakciós adatokat valódi felhasználóktól. Mivel a cég birtokolja az adatgyűjtés és disztribúció környezetét, képes olyan termékeket tervezni, amelyek célzottan kitöltik a modellek hiányosságait különböző doménekben, iparágakban, nyelvekben, modalitásokban és interakciótípusokban. A vállalat állítása szerint ez hozzáférést biztosít természetes, magas kontextusú viselkedéshez, amely valódi termékhasználat közben keletkezik, szemben a mesterségesen kiváltott vagy feladatalapú interakciókkal.
A bővítés mérsékelt méretű, de stratégiailag fontos lépés a reprezentáció és a megbízhatóság javításában az ASR-értékelésekben.
