Az Apple az iOS 27.3 fejlesztői bétájában elkezdte kiadni az Apple Watch Series 12 és az Apple Watch Ultra 4 számára tervezett „Audio Intelligence” képességeket, amelyeket a vállalat először a szeptemberi Surprise and Shine hardveres eseményen mutatott be. Az Audio Intelligence négy, felhasználó által külön engedélyezhető mesterséges intelligencia alapú funkciót tartalmaz: fontos hangok felismerése, dalazonosítás, beszélgetés-visszapörgetés (Live Rewind) és beszélgetés-összegzés (Siri Recaps).
Mit tudnak a funkciók?
- Hangfelismerés: a funkció segíti a siket és nagyothalló felhasználókat fontos hangok (például sziréna, riasztó vagy csengő) azonosításában közvetlenül az órán keresztül.
- Dalazonosítás: a zenefelismerés a Shazam alkalmazást használja, és képes meghatározni a háttérben lejátszott szám címét és előadóját.
A vitásabb, emberi beszélgetéseket kezelő elemek a Live Rewind és a Siri Recaps.
Live Rewind — visszapörgetés
A Live Rewind lehetővé teszi, hogy visszamenjünk és megnézzük, mi hangzott el az utóbbi percekben, ha valamit kihagytunk. Ha például valaki elmond egy címet, hosszú felsorolást vagy útbaigazítást, az óra digitális koronájának gyors kétszeri megnyomásával az utolsó 15 másodperc szöveges kivonata megjelenik az órafelületen. A felhasználó megnézheti a kivonatot, amely automatikusan törlődik, ha nem menti el; vagy elmentheti a különálló Siri alkalmazásba, amely az iOS 27-től érhető el, és későbbi hozzáférést biztosít.
A dupla nyomásra hallható jelzés (csengőhang) és egy animáció is megjelenik az órán — ez a gesztus, hang és vizuális visszajelzés kombinációja arra szolgál, hogy jelezze a közelben állóknak, hogy az elhangzottat visszafelé rögzítették. A mentetlen 15 másodperces kivonatok automatikusan törlődnek 30 másodperc után.
Az elmentett kivonatok alatt megjelenhet egy „Ask Siri” opció is, amellyel további kérdéseket tehetünk fel a felvett részlethez kapcsolódóan (például szakszó magyarázata vagy egy éttermi menühöz kapcsolódó részlet).
Siri Recaps — beszélgetés-összegzés
A Siri Recaps a környezeti hallgatásra építve magas szintű jegyzeteket készít a beszélgetésekről: nem beszédfelismeréssel azonosít személyeket, nem menti a nyers hanganyagot és nem készít szó szerinti átírást. A rendszer rövid összefoglaló mondatot és néhány felsoroláspontot ad meg, amelyek a beszélgetés kulcspontjait (például határidők, árak, fizetési feltételek) emelik ki.
Apple példái között szerepelnek munkamegbeszélések, szülői értekezletek vagy személyi edzések, amikor hasznos lehet gyorsan feljegyezni a teendőket anélkül, hogy közben jegyzetelnénk. A Recaps nem működik, ha a felhasználó zenét hallgat fejhallgatón hangszigeteléssel vagy zajszűréssel.
A felhasználót arra kérik, hogy nézze át az elmentett Siri Recapseket, és döntse el, melyeket menti. A mentett jegyzetek áthelyezhetők a Notes alkalmazásba vagy személyesebb esetben a Journal alkalmazásba. Ha a felhasználó nem lép, a Recaps automatikusan törlődik 7 nap után. Reggelente az óra feloldásakor emlékeztetőt kapunk a felülvizsgálatra.
A Siri Recaps kézzel is engedélyezhető, vagy beállítható ütemezés szerint (például csak munkaidőben fusson, illetve soha ne éjjel). Minden időzített futtatás kikapcsolható a Control Centerből.
Apple azt is közölte, hogy a Siri Recaps célzottan kihagy érzékeny adatokat, például kormányzati azonosítókat, pénzügyi vagy hitelesítési információkat, egyes személyes azonosítókat, illetve öngyilkosságra buzdító vagy öngyilkosságot részletező nyelvezetet.
Műszaki megoldások és adatvédelem
Az Audio Intelligence a készülékek hardverének, szoftverének és szolgáltatásainak kombinációjára épít: a S11 chipre, a beépített mikrofonra, az iPhone-on futó Apple Intelligence modellekre és Apple Private Cloud Compute (PCC) használatára.
Az always-on (állandóan elérhető) processzor tartalmaz egy Secure Enclave-t — egy hardver által védett memóriaterületet, amelyhez a rendszer többi része nem fér hozzá —, és ide egy dedikált audio puffer tölti be a nyers hangot úgy, hogy az nem válik elérhetővé harmadik fél vagy akár az Apple számára. Az óra és a hozzá tartozó iPhone közötti biztonságos párosítás teszi lehetővé, hogy az audio csak a párosított iPhonehoz kerülhessen.
Működés közben a S11 chipen futó könnyített AI modellek jelzik, ha a viselő részét képező beszélgetés zajlik, majd az adat továbbítódik a iPhone Secure Enclave részébe. Az iPhone helyben feldolgozza a hangot és tömörített szöveggé alakítja (tartalom nélkülözve a töltelékszavakat), amely titkosítva kerül továbbításra az Apple Private Cloud Compute-hoz, hogy ott létrejöhessen a beszélgetés összegzése. Apple szerint a PCC-ben készült összegzés és az azt előállító részinformációk azonnal törlődnek a feldolgozás után.
A végső összegzések csak a felhasználó számára elérhetők, nem az Apple számára, és az eszközök közötti szinkronizálás titkosítva történik. Hasonlóan történik az óra és az iPhone közötti átadás a Live Rewind 15 másodperces kivonatok esetén is.
Apple állítása szerint ezek a funkciók nem befolyásolják érdemben az óra vagy a telefon akkumulátorhasználatát. A fejlesztői béta után a vállalat további, szélesebb publikus bétakörökön keresztül teszteli a szolgáltatásokat, mielőtt mindenki számára elérhetővé tenné azokat.
