Gradium bemutatta a Phonon családot, mobil és asztali eszközökön futó, helyben működő text‑to‑speech (TTS) modelleket. A Phonon nem igényel szervert vagy hálózati kapcsolatot: a bevitt szöveg a felhasználó eszközén marad, és a hanggenerálás lokálisan történik. A fejlesztők többféle licencet tettek elérhetővé: a Phonon 31m Apache 2.0 alatt, a többi modell pedig CC BY‑NC licenccel érhető el.
Miért helyben futó hang?
A legtöbb hang‑AI felhőben fut, minden mondat szerverhez utazik és vissza. A Phonon célja, hogy a felhasználói adat lokálisan maradjon, és a hang működjön hálózat nélkül. Emellett a modellek súlyai nyilvánosak: a kisebb, 31m verzió szabadon használható még kereskedelmi termékekben is, a nagyobb modellekhez tartozó nem‑kereskedelmi licenc pedig lehetőséget ad kutatásra és személyes projektekre.
Fejlesztési háttér és technológia
Phonon a Pocket TTS család leszármazottja, és flow matching alapú generálást használ, ami eltér a hagyományos TTS modellek módszereitől. Ez a megközelítés tette lehetővé, hogy kiváló minőséget érjenek el nagyon kis modellméret mellett, ugyanakkor új kihívásokat is hozott a tanítás során: kezdetben numerikailag instabil volt a tanulás, és több trükkre volt szükség ahhoz, hogy minden öt nyelv esetén jó eredményt érjenek el.
Mit adtak ki pontosan?
- Két modellméret érhető el, körülbelül 65 MB és 75 MB.
- A család öt nyelvet támogat: angol, francia, német, spanyol és portugál.
- Több mint 100 beépített hang található a csomagban, és a Gradium Studio segítségével saját hangok is létrehozhatók (hangklónozás vagy hangtervezés).
- A Phonon kezeli a gyakran problémás elemeket, mint telefonszámok, dátumok és kódok.
- Fut telefonon, laptopon, egylapos számítógépeken és böngészőfülben is.
A Phonon 31m az angolt beszéli és Apache 2.0 licenc alatt áll, míg a Phonon 40m az öt nyelvet lefedi, nem‑kereskedelmi licenccel.
Demók és korai projektek
A megjelenéshez több demó is készült:
- Apple Watchon (Wi‑Fi nélkül) egy lépésről‑lépésre leíró kávéfőző‑asszisztens.
- iPhoneon (jel nélkül) ismétlésszámláló edzés közben.
- Autonomous robot, Lamp, karakterhangot kapott.
- Böngészőben egy offline dino runner játékon rádióműsor‑szerű felolvasás.
- Sci‑fi játék és Proust‑felolvasás is fut a játékos saját gépén.
A Hugging Face integrációt a Hugging Face csapata készítette el, így a fejlesztők a Transformers könyvtárból az első naptól használhatják a Phonont. Néhány korai fejlesztés: ExecuTorch a böngészőben futtatja a Phonont látogatói GPU‑n, Micdrop hozza Node.js alkalmazásokba, és több Spaces épít rá (például smallest‑s2s).
A kiadás első két hetében a Phonont több mint 200,000 alkalommal töltötték le, és továbbra is előkelő helyen szerepel a Hugging Face oldalon.
Hogyan teljesített a Hugging Face Open TTS Leaderboardon?
A Hugging Face új Open TTS Leaderboardja 23 nyelven összehasonlítja az open‑source TTS modelleket különböző metrikák alapján:
- intelligibilitás (a generált szöveg szóbeli hibaaránya, word error rate),
- sebesség (inverz real‑time factor és time‑to‑first‑audio),
- természetesség (UTMOS angolra, KOMOS koreaira).
A lista külön kezeli a fix hangú és hangklónozós modelleket, utóbbinál beszélő‑hasonlóság is mérhető. Van Listen fül is, ahol a felhasználók összehasonlíthatják és szavazhatnak a mintákra.
Phonon intelligibilitásban első helyet ért el németből és spanyolból, és minden vizsgált nyelven a top háromban végzett, versenyezve olyan modellekkel is, amelyek akár százszor nagyobbak nála. A sebesség terén különösen jól szerepel: első a CPU streaming benchmarkon time‑to‑first‑audio mutatóban.
Inference és integrációk
A Phononhoz készült egy új inference keretrendszer, a ptts, amelyet kifejezetten a Phononhoz optimalizáltak. A ptts sokféle eszközt támogat: több mint 10 backend érhető el, köztük CPU (Intel, Arm, WebAssembly), GPU (CUDA, Vulkan, Metal, WebGPU) és NPU (Apple Core ML, Snapdragon®).
Phonon elérhető a 🤗 Transformers‑ben is, a v5.21‑től mint referencia PyTorch implementáció. Míg a ptts egyetlen streamet futtat eszközön, a Transformers a GPU‑throughputra optimalizál: batchelt generálás, teljes grafikus torch.compile például nagyszabású beszédsztender szintetizáláshoz. A Phonon moduláris felépítésű, a Pocket TTS‑ből ered, és körülbelül 200 sor módosítással írható le, ami csak a különbségeket definiálja.
A modell autonóm módon generál audio latenteket: minden lépés egy latent kimenetet ad, amely visszakerül a következő lépés bemenetére, és a tanítási veszteséget ezekre számítják. A latensek a modell bemenetei, kimenetei és céljai, ahogy a tokenek egy nyelvi modellnél. A Transformers egy audio tokenizerrel szállítja ezt, amelyet a processor kezel a szövegtokenizer mellett. A publikusan megadott paraméterkimenet egy példa szerint a modell ~30,788,354 paraméterrel, az audio tokenizer pedig ~10,305,313 paraméterrel rendelkezik.
A hang nem egyszerűen felvétel, hanem egy tensor, a speaker latensek tömbje. A Phonon nem kódolja közvetlenül a nyers audiót, a beszélő‑latens fájlok előre kiszámítottan elérhetők a gradium/phonon‑voices tárban.
Hogyan használható a prompt és a generálás?
A checkpointok chat‑sablont adnak a hangpozíciók, a szöveg és egy audio induló token elrendezésére. A fejlesztő szabványos beszélgetést ír, egy üres audio elemmel, ahová a hang kerül; a processor ezt kiterjeszti keretenként, normalizálja és tokenizálja a szöveget, majd a modellt meghívva latenseket generál, amelyeket a processor dekódol audióvá.
Továbblépések és testreszabás
Phonon bármilyen hangot képes megszólaltatni: rövid felvételből, a beszélő hozzájárulásával hang klónozható, vagy a Gradium Studio‑ban egyszerű szöveges leírásból is létrehozható új hang. A saját hangfájlt letöltve azt betöltve Phonon teljes mértékben az eszközön fut.
Gradium egyedi modelleket is képez együtt tervezőpartnerekkel: memóriahatár esetén kisebb modellt készítenek, illetve igény szerint további nyelvek (például koreai, arab, japán) vagy termék‑specifikus szókincs finomhangolása is lehetséges.
Kapcsolat és köszönet
A Gradium kéri a visszajelzéseket: vegyék fel velük a kapcsolatot a további igények egyeztetése érdekében. Köszönetet mondanak a Hugging Face‑nek és minden korai kipróbálónak az első két hét alatt nyújtott támogatásért.
Phonon az első nyílt kiadásuk: próbálja ki és ossza meg, mit épít rá.
