A SensorFM egy nagy, szenzoralapú alapmodell, amely közvetlenül címkézetlen viselhetőeszköz-adatokból tanult populációs skálán. A fejlesztők célja az volt, hogy egyetlen, újrafelhasználható reprezentációt hozzanak létre az emberi fiziológiáról, amely átvihető különböző egészségügyi területekre — kardiovaszkuláris, anyagcsere, alvás és mentális egészség mellett életmód és demográfiai jellemzők becslésére is.
Az adatkorpus és időbeli lefedettség
A pre-tréninghez deidentifikált, önkéntesen rendelkezésre bocsátott adatokból álló korpuszt használtak: öt millió résztvevő adatait dolgozták fel, az adatfelvétel 2024. szeptemberétől 2025. szeptemberéig tartott. Az adatállomány több mint 100 országra, az Egyesült Államok mind az 50 államára és több mint 20 Fitbit és Pixel Watch eszközmodellre terjedt ki. Minden személyről több hétnyi adat került a korpuszba, ami több mint kétmilliárd órát — vagyis több mint egy trillió percet — jelent percfelbontású jelsorozatok formájában.
A SensorFM 34 egyperces aggregált jellemzőt vesz be öt szenzormodalitásból: fotopletizmográfia (PPG), gyorsulásmérő (accelerometry), elektrodermális aktivitás (EDA), bőrhőmérséklet és magasságváltozások (altimetry). Ezek együtt rögzítik a szívritmust és annak változékonyságát, a vér-oxigén telítettséget, az alvásstádiumokat, mozgást és lépéseket, bőrvezetőképességet és hőmérsékletet 24 órás ablakban.
Önszuppresszív tanulás és az AIM megközelítés
A SensorFM nem hagyományos, címkézett tanítópéldákkal tanult, hanem önfelügyelt (self-supervised) rekonstrukciós céllal, az LSM-2 megközelítésre és annak Adaptive and Inherited Masking (AIM) keretrendszerére építve. Ez fontos, mert a viselhető eszközöknél a hiányos és töredezett adatok a normák: lemerülés, az eszköz levétele, energiatakarékos üzemmódok és szenzorok ki-be kapcsolódása okozza a megszakításokat. Míg a hagyományos módszerek vagy imputálják a hiányzó részeket (ami torzíthat), vagy kidobják a hiányos ablakokat (és értékes adatot dobnak el), az AIM a valós hiányosságokat természetes jelenségként kezeli. A módszer egyaránt tekinti a valós hiányokból „örökölt” tokeneket és a mesterségesen maszkolt tokeneket rekonstruálandó bemenetnek, így a modell intrinszik módon missingness-aware lesz — nem csak tolerálja a töredezettséget, hanem produktívan használja azt.
Skálázás: adatmennyiség és modellméret együtt
A kutatók rendszerszintű skálázási kísérleteket végeztek: a pre-tréning adatvolumenét körülbelül 2 milliótól 2 milliárd sensor-óráig, míg a modellkapacitást 100 ezer paramétertől 100 millió paraméterig változtatták. Az eredmény világos: a pre-tréning veszteség rendszeresen csökken az adatmennyiség és a kapacitás növelésével, és ezek a javulások átválthatók downstream egészségügyi feladatokra is.
A legnagyobb modell, SensorFM-B, amely a teljes ötmilliós korpuszon tanult, 31%-kal csökkentette a rekonstrukciós veszteséget a legkisebb variánshoz képest, és az osztályozási feladatokon átlagosan 9% AUC-javulást, regressziós feladatokon pedig 21% Pearson-koefficiens-növekedést hozott. A legnagyobb előnyöt a párhuzamos skálázás adta: adatmennyiség és kapacitás együttes növelése majdnem lineáris javulást eredményez mind a generatív pre-tréning, mind a diszkriminatív downstream teljesítmény tekintetében. Modelleken átlagban SensorFM-B 33-ból 35 feladatot megnyert.
Egy reprezentáció, sok egészségügyi domain
A modell általánosíthatóságát 35 diszkriminatív feladaton tesztelték három, intézeti etikai jóváhagyással (IRB) rendelkező prospektív tanulmányból származó, összesen 13 985 résztvevő adatain. A feladatok hat kategóriába tartoztak: kardiovaszkuláris egészség, anyagcsere-kockázat, mentális egészség, alvás, demográfiai jellemzők és életmód.
Az értékeléshez a SensorFM enkóderét lefagyasztották, és csupán egy könnyű lineáris fejet tanítottak rá; ezt hasonlították össze kézzel tervezett feature-eken alapuló, felügyelt baseline-okkal. Fő megállapítások:
- Széles általánosíthatóság: a lineáris probe-ok a SensorFM-beágyazásokon 34-ből 35 feladatban felülmúlták a feature-engineered felügyelt baseline-t, feladatspecifikus architektúra nélkül.
- Implicit fiziológia: demográfiai jellemzők (életkor, nem stb.) hozzáadása mérsékelt javulást hozott, de ez a javulás a modell skálázásával csökkent — arra utalva, hogy a nagyobb modellek pre-tréning során implicit módon rögzítik a fiziológiához kapcsolódó jellegzetességeket.
- Erő a nehezen mérhető állapotoknál: a skálázott pre-tréning különösen hasznos depresszió és szorongás jellegű, személyenként eltérő és a szenzoradatokban gyenge jeleket hagyó állapotoknál.
- Címkehatékonyság: kevés felcímkézett példány mellett a SensorFM gyorsan meghaladta a demográfia-alapú és a feature-engineered baseline-okat — fontos tulajdonság az egészségügyben, ahol a jó minőségű címkék ritkák.
Automatikus fejlesztés: az "agentic classroom"
A reprezentáció hasznossága gyakorlati alkalmazásban attól függ, mennyi munkát igényel egy új célnak megfelelő prediktív fej elkészítése. A manuális mérnökmunkát automatizálandó a csapat egy „osztálytermet” épített: egymással együttműködő és versengő LLM ügynökök csoportját, amelyek iteratívan generálnak, tesztelnek és finomítanak végrehajtható kódot a SensorFM-beágyazásokra épülő predikciós fejekhez. A rendszer több mint 30 000 jelölt megoldást vizsgált.
Az ügynökök által tervezett fejek 20 osztályozási feladatból 16-on, és 15 regressziós feladatból 12-n jobbak voltak, mint egy egyszerű lineáris probe. Két megfigyelés emelkedett ki: a megoldások minősége monoton javult a keresés során, és a minőség skálázódott az alatta lévő LLM képességeivel — az erősebb modellek (például újabb Gemini-verziók) jobb megoldásokat adtak, míg az ügynökök közötti együttműködés segítette a kevésbé erős modelleket közelebb hozni a jobb eredményekhez.
Személyes egészségügynök (Personal Health Agent) leföldelése
A SensorFM-et beépítették egy Personal Health Agentbe, hogy megvizsgálják, mennyire segíti a modell az end-to-end használatot — azaz mennyire képes a személy saját fiziológiáján alapuló tanácsadásra. 31 valós résztvevő profilja alapján három feltételt hasonlítottak össze a szakértői összefoglalók generálásakor:
- Demográfia + napi viselhető mérők + SensorFM-előrejelzések
- Demográfia + napi viselhető mérők + ground-truth mérések
- Demográfia + napi viselhető mérők (alapvonal)
Egy vakértékelő klinikai panel az elkészült összefoglalókat öt dimenzióban (kontekstus, relevancia, igazolhatóság, személyre szabottság és kártékony potenciál) pontozta; a vizsgálat 1 860 értékelést eredményezett több mint 40 óra szakértői munkával. Az eredmények szerint a SensorFM-előrejelzések hozzáadása statisztikailag szignifikánsan jobb válaszokat adott az alapvonalhoz képest minden mérőszámban. Továbbá nem találtak statisztikailag jelentős különbséget az Agent groundingjében SensorFM-előrejelzések vagy valós ground-truth mérések használata között — azaz a modell következtetései hasonlóan jól szolgálták az ügynököt, mint a tényleges címkék.
Következtetés
A SensorFM azt vetíti előre, hogy a viselhető egészségügyi kutatás folyamata elmozdulhat a sok, egyedi célú, felügyelt modellről egyetlen, általános reprezentáció felé, amely rugalmasan és hatékonyan adaptálható sokféle feladatra. Több mint egy trillió perc címkézetlen szenzoradatból tanulva a modell általánosít kardiovaszkuláris, anyagcsere-, alvás- és mentális egészségre; címkehatékony adaptációt és robosztus napi-metrika-becslést támogat; automatikusan specializálható egy ügynökalapú osztályterem segítségével; és képes egy Personal Health Agent-et a személy saját jelzéseire alapozni.
Köszönetnyilvánítás
A munkát a szerzők a Google Research, Google DeepMind és akadémiai együttműködők közreműködésével végezték; a cikk megemlíti együttműködő társszerzőket és hozzájárulókat.
