A kutatók bemutatták a Brain2Qwerty v2-t, egy end-to-end, nem-invazív rendszert, amely valós idejű mondatdekódolást tesz lehetővé magnetoencephalográfiás (MEG) agyi mérésekből. A fejlesztés célja, hogy a korábban csak invazív módszerekkel elérhető pontossághoz közelítsen, miközben elkerüli a sebészeti beavatkozásokat.
Mit tartalmaz a munka
- A csoport közzéteszi a Brain2Qwerty v1 és v2 teljes betanító kódját. A partnerintézet, a Basque Center on Cognition, Brain, and Language (BCBL) a v1 adatbázist is elérhetővé teszi.
- A rendszer end-to-end mélytanulást használ: ahelyett, hogy kézzel tervezett jelvonalakat vagy neurális eseménydetektorokat alkalmazna, közvetlenül a nyers MEG-jelből dekódol.
- A továbbfejlesztéshez a kutatók nagy nyelvi modelleket finomhangoltak neurális adatokon, így a modell a szemantikus kontextust is képes kihasználni a zajos agyi jelekből érthető nyelv előállításához.
- AI-ügynököket alkalmaztak a dekódolási csővezeték optimalizálásának feltérképezésére; a végső betanítási konfigurációkat azonban mérnökök választották ki kézi döntéssel.
Adatmennyiség és résztvevők
A Brain2Qwerty v2-t mintegy 22 000 mondaton képezték kilenc önkéntes résztvevő adatai alapján. Minden résztvevőt körülbelül 10 órán keresztül rögzítettek, miközben MEG-készüléket viseltek és aktívan gépeltek.
Teljesítmény: pontosság és eredmények
- A rendszer általános szószintű pontossága 61% lett a nem-invazív módszerek közötti viszonyításban, jelentős előrelépés az egyéb nem-invazív megközelítések által elért 8%-hoz képest.
- A legjobb résztvevő esetében a szószintű pontosság 78% volt; ennél a személynél a dekódolt mondatok több mint fele egy szónál kevesebb hibával egyezett.
Miért számít ez?
Az invazív módszerek, mint a stereotaxiás elektroencefalográfia és az elektrokorticográfia, korábban demonstrálták, hogy egy idegprotézis és egy AI-dekóder kombinációja helyreállíthatja a kommunikációt súlyos agyi sérültek számára, de ezek a megoldások nehezen skálázhatók. A Brain2Qwerty v2 nem-invazív megközelítése potenciálisan csökkentheti a skálázhatósági korlátokat, és így több érintett ember számára lehet elérhető alternatíva.
Adatmennyiség hatása és további irányok
A kutatók szerint a dekódolási pontosság logaritmikusan javul az adatmennyiség növelésével, ami arra utal, hogy a sebészeti módszerek és a nem-invazív megközelítések közötti teljesítménykülönbség további adatskálázással csökkenthető.
Ez a munka része egy szélesebb törekvésnek az agy alapvető, nyílt modellezésére: a projekt említ olyan komponenseket, mint a Tribev2 percepciós kódolásra, a NeuralSet nagyléptékű agyadat-feldolgozásra és a NeuralBench rendszerszintű modellellenőrzésre. A csapat együttműködik a közösséggel, többek között egy 5 millió dolláros alap létrehozásával a Digital Brain Project keretében, hogy ösztönözze a nyílt adatkészletek létrejöttét.
A kutatók reménye szerint a nyíltan végzett kutatás felgyorsíthatja az idegtudományi áttöréseket, és hozzájárulhat a neurológiai rendellenességek gyorsabb azonosításához, diagnosztizálásához és kezeléséhez, mint ha a munkát elszigetelten végeznék.
Közzététel és hozzáférés
A csoport közzéteszi a Brain2Qwerty v1 és v2 betanító kódját, és a Basque Center on Cognition, Brain, and Language (BCBL) elérhetővé teszi a v1 adatbázist, hogy a közösség további kutatásai és replikációi támogathatók legyenek.
