A nyelvi alapú interjúk önmagukban a klinikai diagnózisok jelentős hányadát tehetik lehetővé. Ezeket az interjúkat hagyományosan klinikusok végzik a beteggel személyes vagy távoli találkozó során, de az ilyen találkozók hozzáférését pénzügyi, földrajzi és rendszerszintű akadályok is korlátozhatják. A legújabb nyelvi modellek (LM-ek) korábbi vizsgálatokban jó teljesítményt mutattak differenciáldiagnosztikai feladatokban, ám ezek a vizsgálatok gyakran előre összeállított, részletes vagy szintetikus betegesetekre támaszkodnak, amelyek nem feltétlenül tükrözik a valós betegek beszámolóinak változatosságát.
Ennek a hiánynak a kiküszöbölésére a szerzők in-situ, összehasonlító kutatást végeztek kísérleti, beszélgető prototípus AI ügynökökkel, hogy felmérjék, miként tudna egy konverzációs AI végezni teljes körű tünetinterjút és differenciáldiagnosztikai értékelést kutatási benchmark célokra. A tanulmányról a „SymptomAI: Towards a Conversational AI Agent for Everyday Symptom Assessment” című kutatási cikk számol be.
Módszer
A vizsgálatban 13 917, beleegyezésüket adó résztvevő vett részt; mindegyikük egy véletlenszerűen kiválasztott SymptomAI-ügynökkel folytatott beszélgetést, amely a Gemini Flash 2.0 modellre épült. Öt különböző ügynök működött, amelyek eltérő szabadsággal kísérték a követő kérdések feltevését. A beszélgetések során a résztvevők elmondták tüneteiket, az ügynök követő kérdéseket tett fel, és a végén minden beszélgetés egy differenciáldiagnózissal (DDx — a valószínű diagnózisok listája) és további teendőkre vonatkozó javaslatokkal zárult. Minden tanulmány alatt keletkezett diagnózis, címke és betegség-hozzárendelés kizárólag kutatási elemzés célját szolgálta, és nem minősült megerősített klinikai diagnózisnak vagy hivatalos orvosi értékelésnek.
A résztvevők két héttel a SymptomAI-interakció után kitöltöttek egy felmérést, amelyben beszámoltak, ha azóta orvosi vizsgálat során diagnózist kaptak. Az értékelés részeként egy háromfős, lektorált (board-certified) klinikai szakértői panel vak annotációt végzett: a klinikusok átnézték a beszélgetési átiratokat, saját differenciáldiagnózisokat állítottak fel, majd vak módon rangsorolták a SymptomAI és a többi klinikus által adott DDx-eket.
Ezen felül a szerzők összevetették a SymptomAI által adott diagnózisokat a résztvevők Fitbit viselhető eszközeinek biometrikus adataival az interakciót megelőző időszakban: naponta gyűjtött napi biometrikus adatokat legfeljebb 30 nappal a SymptomAI-beszélgetés előtt.
Fő eredmények
-
Klinikai szakértők preferenciája: A szakértők az esetek több mint 50%-ában a SymptomAI által adott DDx-et részesítették előnyben a többi klinikus által adott DDx-ekkel szemben. Ez azt mutatja, hogy a SymptomAI javaslatai legalább annyiszor, vagy gyakrabban egyeztek a klinikusok orvosi értékelésével, mint a másik klinikusoké.
-
Pontosság (top-5 Accuracy): A kutatók összehasonlították, hogy a résztvevők által a későbbi valódi egészségügyi ellátás során kapott diagnózis szerepel-e a DDx-ek top-5 találatai között. A klinikusok gyakrabban találták helyesnek a SymptomAI által generált DDx-eket, mint a többi klinikus által megadottakat ezen mérő alapján.
-
Információk előhívása javítja a teljesítményt: Az öt kísérleti kar közül azok a felállások (Dynamic Live és Dynamic Final), amelyek teljes szabadságot adtak az ügynöknek követő kérdések feltevésére, illetve a Fixed Canonical és Flexible Canonical stratégiák, amelyek orvosi iskolában tanított sztenderd kórelőzmény-kérdéseket alkalmaztak, mind szignifikánsan jobban teljesítettek, mint a Base (felhasználó vezérelte, nem promptolt) állapot. Ez egyértelműen jelzi, hogy az aktív, ügynök-vezérelt követő kérdések javítják a differenciáldiagnosztikai pontosságot.
-
Erősebb előny alacsony biztonságérzetű esetekben: A SymptomAI előnye a klinikai referencia felett leginkább azokban az esetekben volt markáns, ahol a klinikusok saját DDx-ükkel kapcsolatban alacsonyabb biztonságérzetet jeleztek.
-
Diagnózisok és biosignálok korrelációja: Azoknál az eseteknél, amelyeket a SymptomAI fertőzéses eredetűnek jelölt (különösen akut légúti fertőzések), a résztvevők viselhető eszközein megfigyelt biometrikus trendek — például változások a kardiovaszkuláris működésben, a légzésben, a bőr hőmérsékletében és az alvásminőségben — a tünetbejelentés közelében jelentős eltéréseket mutattak. A vizsgálat kizárta a nem fertőzéses légúti állapotokat (például allergiás rhinitisz, krónikus obstruktív tüdőbetegség) a fertőzéses csoportból. Az előforduló biometrikus eltolódások a bejelentés időpontjával való konzisztenciája megfigyelési fiziológiai alátámasztást nyújt a jelentett tünetekhez.
-
Alkalmazhatóság kutatásban: A szerzők rámutatnak, hogy pontos tünetellenőrző rendszerek, mint a SymptomAI, automatizált referencia-címkézéssel segíthetik a nagyléptékű fiziológiai adatelemzést, amely jelenleg klinikai címkék költsége miatt korlátozott.
Korlátok
A kutatók több fontos korlátot is megfogalmaznak:
-
A differenciáldiagnózis természeténél fogva ambivalens feladat; a tünetértékelés pillanatfelvétel, és a diagnózisok időben változhatnak. A nagy mintaszám miatt nem lehetett egységesen kontrollálni a tünetbejelentés időzítését — egyes résztvevők nagyon korai, mások pedig késői vagy krónikus összefüggéseket jelenthettek.
-
A klinikusok az értékeléshez statikus chat-átiratokat kaptak, és nem volt lehetőségük saját követő kérdések feltevésére; ez befolyásolhatta a teljesítmény-összehasonlítást. Továbbá a beszélgető AI nem tud feltétlenül figyelembe venni más, klinikai szemmel hasznos jeleket, mint a testbeszéd, vizuális vizsgálat, vagy korábbi orvosi dokumentáció, illetve a beteggel fennálló korábbi kapcsolat.
-
Minden tanulmány során keletkezett diagnózis és betegség-hozzárendelés kizárólag kutatási elemzés célját szolgálja, és nem helyettesíti az orvosi diagnózist.
Következtetések
A SymptomAI egy kísérleti, kutatási célú beszélgető AI-ügynök, amely képes valós betegek tüneteinek felvételére és differenciáldiagnosztikai javaslatok előállítására. A 13 917 fős, országos, véletlenszerűen rendelt résztvevői minta alapján a SymptomAI DDx-ei klinikai szakértők szerint gyakran versenyképesek vagy jobb rangsorolást kapnak a humán klinikusok által adott DDx-ekkel szemben. Továbbá a SymptomAI fertőzéses diagnózisainak csoportosítása összhangban állt a résztvevők viselhető eszközein megfigyelt fiziológiai változásokkal, ami további eszközt adhat a populációs szintű egészségkutatáshoz.
Köszönetnyilvánítás
A munka egyenlő mértékű hozzájárulás eredménye Joe Breda, Jake Sunshine és Daniel McDuff részéről. A szerzők köszönetet mondanak a Google Research és a Google DeepMind munkatársainak és társszerzőinek közreműködéséért.
