Elena Pitsik- Fiatal kutató az Egyetem Idegtudományi és Kognitív Technológiák Laboratóriumában
Kommunikáció a számítógép és az agy között
Az agy-számítógép interfész olyan rendszer, amely lehetővé teszi az agy és a számítógép közötti interakciót.Megnyitja a kommunikációs csatornát az agy és az agy közöttszámítógéppel, és lehetővé teszi számukra információcserét egymással. A legegyszerűbb példa a parancsok generálása egy külső eszköz számára, agyi tevékenységet használva. Külső eszköz lehet számítógép, alkalmazás, robot, drón, protézis, exoskeleton vagy bármi más. Az ilyen interfészek hatóköre nagyon széles.
Az interfész legfontosabb része az agy biológiai jeleinek rögzítésére szolgáló technológia.Számos technológia létezikfelületeken alkalmazni. Az elektromos aktivitás jeleit erősítővel - elektroencefalográffal - rögzítik. Ezeket a szerverhez továbbítják, amely feldolgozza ezeket a jeleket. Vannak nagyon kicsi, kompakt interfészek, amelyek vezeték nélküli technológiát használnak. Szó szerint egy kis chip van benne. De ha azt tervezi, hogy klinikai környezetben használja a felületet (például a stroke utáni rehabilitációhoz), akkor valószínűleg sok csatornát és nagy adatot szeretne használni. A Big Data feldolgozása sok számítási erőforrást igényel, ezért leggyakrabban külön számítógépet használnak speciális szoftverrel. És miután ez a szoftver feldolgozza az agyi jelet, azt parancsokká fordítják le egy külső eszköz számára, visszajelzést adva. A klasszikus monitor helyett bármi lehet: a hangulatfigyelő alkalmazástól a robotvezérlő rendszerig.
Az agy-számítógép interfészek három fő típusra oszthatók.Először is, ez egy aktív neurális interfész, amelyazt jelenti, hogy a felhasználó közvetlenül és tudatosan vezérel egy külső eszközt vagy alkalmazást. A neurointerfész az az agyi tevékenység, amelyet a felhasználó generál, olvas, feldolgoz és parancsokká alakít. A második típus a reaktív neurális interfész. Ebben az agyi tevékenységet nem az agy állítja elő tudatosan, hanem külső hatások - fény, hang, tapintási érzések, parancsok - stimulálják. Például képek vagy hangingerlés, amelyek bizonyos választ váltanak ki az elménkben. Ezt a választ pedig nem tudjuk tudatosan generálni, külső inger nélkül, ezért kell valamiféle visszajelzés. Az agy-számítógép interfész ezt a választ keresi egy külső ingerre az agyunkban, és parancsok generálására és egy külső eszköz vezérlésére vagy profil-visszajelzésre használja. A neurális interfész harmadik típusa a passzív neurális interfész. A legbonyolultabb és legérthetetlenebb, mert nem jár parancsok generálásával egy külső eszközhöz, és egyáltalán nincs vezérlés. Ez a felület passzívan ül rajtad, és figyeli állapotodat a napi tevékenységeid során. Vagyis olvasol, dolgozol, autót vezetsz, és a neurális interfész figyel téged. Használható a figyelemszint, a fókusz, a fáradtság, a kognitív terhelés nyomon követésére, valamint visszajelzést ad az állapotáról.
Neurorehabilitáció és az interfészek egyéb felhasználásai
A neurointerfész nagy társadalmi jelentőséggel bír a különféle rehabilitációs rendszerek fejlesztésében és a többletszükségletű emberek életminőségének javításában.Például a bezárt szindrómában szenvedők -elvesztették minden lehetőségüket a külvilággal való kapcsolatteremtésre, ugyanakkor megőrizték tudatukat; Teljesen lebénult emberekről van szó, akik nem tudnak beszélni, mozogni és még a szemüket sem tudják mozgatni. Így nincs más lehetőségük a kommunikációra, mint a neurális interfészek segítségével leolvasni agyi tevékenységüket, és azt konkrét parancsokká lefordítani. Ezek a parancsok lehetnek beszédgenerálás, különféle alkalmazások vezérlése a mindennapi funkcionalitás fenntartása érdekében, valamint alapvető kommunikációt biztosítanak másokkal. Egy kevésbé súlyos állapot a részleges bénulás. Például tolószékben ülő emberek, akik nem tudnak járni, vagy különféle parézisek agyvérzés vagy sérülés következtében. Bénulás esetén, ha az gyógyíthatatlan, akkor az ilyen személy életminősége javítható, ha valamilyen, idegi interfész segítségével vezérelhető exoskeletont vagy ortézist biztosítunk számára. Ez az egyik legnépszerűbb terület a neurális interfészek fejlesztésében.
Az idegi interfészek legnépszerűbb alkalmazása az orvostudományban a neurorehabilitáció.Ez egy lehetőség a rehabilitációs folyamat felgyorsításárasérülés vagy agyvérzés utáni személy „agy-számítógép” interfésszel végzett edzéssel, amely magában foglalja a motoros tevékenység támogatását, azaz képzeletbeli mozgások sorozatát. Számos tanulmány kimutatta, hogy az ilyen interfészek valóban jelentősen felgyorsítják és javítják az emberek rehabilitációs folyamatát, helyreállítva elveszett motoros funkcióit.
Az utóbbi időben az agy-számítógép interfészek áttértek a mainstream piacra, és szélesebb közönséget szereztek.A neurális interfész ma már megvásárolható az eBay-enkis pénz, még kevesebbe fog kerülni, mint egy okostelefon. Először is szórakoztatásra használják őket - a játékiparban. Szintén nagyon gyakran neurális interfészeket használnak a különféle állapotok - hangulati vagy alvási fázisok - monitorozására. A meditációhoz használt idegi interfészek segítenek az embernek ellazulni, és az agyi tevékenységének megfigyelésének eredményei szerint irányítják. Hasonló eszközöket használnak a kognitív készségek - figyelem, koncentráció vagy kognitív terhelés - képzésére szolgáló különféle rendszerek fejlesztésére is. Ez azért fontos terület, mert felhasználható például repülőgép-pilóták és teherautó-vezetők kognitív terhelési rendszereinek fejlesztésében.
Mi az agy és hogyan mérheti az aktivitását?
Te és én vagyunk az agyunk.Az agy sejtekből áll, az úgynevezettneuronok. És minden neuron egy magból, egy testből és különféle folyamatokból áll, amelyek biztosítják a kommunikációt más neuronokkal - ezek a dendritek, axonok és egy terminál (az axon folytatása a más neuronokkal való kommunikációhoz - „High-Tech”). Az egyik neuron meglehetősen egyszerű szerkezet, de a fejben több milliárd neuron található. Így együtt egy hatalmas hálózatot hoznak létre, amely összetett adathalmazokat tud feldolgozni, és ellát minket, mint egyéneket.
Az agy egy szuperszámítógép, vagyis egy olyan rendszer, amely hatalmas mennyiségű információ feldolgozására képes.A neuronok elsősorban egymással kölcsönhatásba lépnekkét módon - elektromos és kémiai kötések. Az elektromos jelet egy neuron állítja elő, és egy axonon keresztül továbbítja egy másik neuron szinapszisaihoz (az idegsejtek közötti kapcsolatok - „High-Tech”). Amikor egy elektromos jel megérkezik egy neuron kimenetére, akkor az bizonyos kémiai üzenetekké alakul, amelyeket neurotranszmittereknek neveznek. És az egyik neuron kimenetéről egy másik bemenetére továbbítják őket, amely viszont fogadja, feldolgozza, elektromos jellé alakítja, és továbbítja a lánc mentén. Egy neuron vagy fogadhat és átereszthet egy elektromos jelet magán, vagy kiolthatja, de nem veszi és megszakítja a láncot. Bármely tevékenységünk olyan neuronok hálózatát alkotja, amelyek folyamatosan villognak, és egy bizonyos mintát alkotnak, amely lehetővé teszi számos aktív emberi tevékenység feldolgozását.
Az agy elektromos aktivitásának mérésére számos módszer létezik.Először is ez a mágneses encephalográfia,amely magában foglalja az agy elektromos tevékenysége következtében létrejövő elektromágneses mezők mérését. A MEG-gép egy nagyméretű eszköz, amelyben az ember mozdulatlanul ül, mert a mágneses teret leolvasó elektródák nem a fejen helyezkednek el, hanem attól bizonyos távolságra vannak. A MEG nagyon érzékeny a különféle külső interferenciákra – beleértve a Föld mágneses terét és más mágneses mezőket, amelyekkel szó szerint tele van egész valóságunk. Ezért ahhoz, hogy a MEG jól működjön, árnyékolt helyiségben kell elhelyezni. Egy másik módszer a közeli infravörös spektroszkópia. Ez egy neuroimaging technológia, amely lehetővé teszi számunkra az agyban végbemenő folyamatok megjelenítését. Infravörös fényt használ az oxi- és dezoxihemoglobin koncentrációjának mérésére. Az eszköz egy sapkából áll, amelyhez hengerek vannak rögzítve, szorosan a fejbőr felületéhez közel, és két típusra oszthatók - forrás és detektor. A forrás infravörös tartományban bocsát ki fénysugarat. Ez a fény áthalad a bőrön, a koponyán és a kéreg felső rétegén, vagyis az agyon. Áthalad, visszakerül a fejbőr felszínére, és megfogja a detektor. Sőt, minden, ami látható, nagyon fontos információkat hordoz a vér oxigénszintjéről. Amikor végrehajtunk egy cselekvést, például koppintást, a motorzónában lévő vérünk oxigénnel telítődik. Ezt mérhetjük és mintaként definiálhatjuk. A következő technológia az elektroencefalográfia, ezek közül a leghatékonyabb. Használható neurális interfészben, mert viszonylag olcsó és meglehetősen egyszerű. Feltettem egy sapkát, megforgattam az elektródákat, bekentem pasztával - és működtek. Az EEG-berendezés – az elektroencefalográf – egy kalap is, amelyet az ember fejére helyeznek. Az elektródákat szorosabban kell a személy fejéhez nyomni, és helyesen kell elhelyezni.
Miért illesztik be az agyba a neurális interfészeket?
Az elektroencefalográfiák különbözőek.Különböző felbontású jeleket írnak és rendelkeznekkülönböző számú csatorna. Az EEG-nek is két típusa van. Alapvetően vannak invazív és nem invazív EEG. Az invazív EEG műtéttel jár, melynek során kinyitják a koponyáját, és közvetlenül az agy felszínére helyezik az elektródákat. Nyilvánvaló, hogy ezt a technológiát embereknél nem alkalmazzák. Főleg az állattudományban használják tevékenységük tanulmányozására, ami nagyon hasonlít az emberi tevékenységhez. Az EEG-jel, amelyet közvetlenül a kéreg felszínéről és a neuronok egy nagyon kis csoportjáról olvasnak le, jobb teljesítményt nyújt a non-invazív technológiához képest. Mert mentes az EEG-re jellemző különféle műtermékektől.
Vannak olyan területek, ahol az invazív interfészek nagyon fontosak, és valójában az egyetlen olyan technológia, amely enyhítheti az ember állapotát.Például ez az epilepszia.Laboratóriumunk az epilepszia egy fajtáját, az úgynevezett hiányepilepsziát vizsgálja. Ez epilepszia, amely nem jár görcsrohamokkal. Az ember nem tapasztal görcsöket a támadás során, egyszerűen elszakad a világtól egy időre. És nem tud róla, hogy elszakadt. Ez az állapot is nagyon veszélyes, annak ellenére, hogy nincs külső megnyilvánulása azon kívül, hogy az illető elszakadt a valóságtól. Mert lehet, hogy például nem tudja, hogy távolléti epilepsziája van, és vezetés közben elájul. Ezért az összes támadás megakadályozása is nagyon fontos, és a felület ezt meg tudja akadályozni. Amikor egy személynek rohama van, először is különböző agyi ritmusok szinkronizálódnak – ezt nagyon könnyű elkapni. Ezenkívül a támadást egy bizonyos típusú tevékenység előzi meg – egy kis idővel a támadás előtt meg tudjuk határozni, mi fog történni ezután. Amikor az idegi interfész ezt észleli, impulzusokat küldhet az agynak, amelyek segítenek elnyomni ezt a támadást. Ugyanakkor az a személy, aki rendszeresen viseli ezt a felületet, nem fog semmit érezni, és nem fogja tudni, hogy éppen támadás előtt áll.
A Neuralink Ilona maszk különbözik a többitőlinvazív neurointerfészek, amelyekben az EEG-t író elektródok nagyon vékony filamenteken helyezkednek el (vékonyabbak, mint az emberi haj), és sok elektróda helyezkedik el egy izzószálon.Lehetőség van akár 3 ezer elektróda rögzítésére.Ez hatalmas mennyiségű adat. Tekintettel arra, hogy a kéregben helyezkednek el, nagyon kicsik, és egy kis neuroncsoportból írnak jelet. Így nagyon finom tevékenységet foghatunk ki.
A Musk technológiája részben megoldja a problémát, amely nem invazív EEG használata esetén - a mező szórása (angolul: „electric field erő” - „Hi-tech”).Amikor non-invazív EEG-t írunk, szuperponáljukelektródát a fejen, és a neuronok nagy csoportjáról rögzít. Általános energiamezőt hoz létre. A különböző neuronokból származó elektromos mezők átfedik egymást, és interferálnak egymással. Tehát amikor egy bizonyos típusú tevékenységet írunk, valójában sok különböző tevékenységünk van, ami zavarja a feldolgozást. És egy nagyon nagy probléma minden invazív interfésznél, hogy szervezetünk nem akarja, hogy idegen tárgyakat lökjenek bele.
A nem invazív EEG olyan EEG, amelyet folyamatosan használunk.Lényegében ezek ráhelyezett elektródáka fej felülete sapkával. Minden elektróda a neuronok egy meghatározott csoportjának aktivitását rögzíti. Az elektródák elhelyezkedése nagyon fontos, mert nagyban befolyásolja a feldolgozás eredményét.
Az elektroencefalogram egy elektromos jel.Ennek a jelnek a feldolgozása a radiofizika feladata.Hagyományos elemzési technikákat használhatunk a jel jellemzőinek elkülönítésére. Az a feladatunk, hogy kiemeljünk bizonyos mintákat, amelyek ennek a mozgásnak megfelelnek.
A neurális interfészek létrehozásának fő nehézségei
Miért olyan nehéz létrehozni egy neurális interfészt?Mert ezek nagyon nehéz feladatok:feldolgozni az EEG-t és azonosítani a mintákat. Integrált és körültekintő megközelítést igényelnek. Először is azért, mert minden ember egyéni, akárcsak az agya. Még a homozigóta ikreknek is nagyon eltérő agyuk van, mint például az ujjlenyomatok. Nem tudunk egyetlen univerzális rendszert létrehozni, amely minden ember számára egyformán működik. Mindenkinél be kell állítani, kalibrálni és folyamatosan cserélni. A következő ok a feladat sajátosságai. Ugyanazt a feladatot mindenki másként tudja elvégezni, és különböző tevékenységeket halmozhat fel. Az érzékelők elhelyezése is emberi tényező. A különböző kísérletekben előfordulhat, hogy az érzékelők kissé eltérően helyezkednek el, de ez is nagyon fontos, mert más tevékenységet fognak írni. Egy másik ok az agy nem stacionárius dinamikája minden időskálán. Ez azt jelenti, hogy minden időskálán folyamatosan változik. Felvehetünk egy nagy darab EEG-jelet, másodpercekre bonthatjuk, és minden másodperc más és más lesz. Az agy folyamatosan változik, fejlődik és alkalmazkodik külső környezetéhez. Fontos probléma az EEG-felvételek és műtermékek magas zajszintje. Mivel elektródákat helyezünk el a fejbőr felszínén, alatta pedig a bőr és a koponya között, vannak izomrostok, amelyek dolgoznak, mozognak és valamilyen motoros műterméket hoznak létre az EEG-jelen. Emellett folyamatosan mozgatjuk a szemünket, pislogunk, és mindez útmutatást ad az EEG-nek is, ami nem csak a homlokon lévő csatornákon, hanem a fej hátsó részén is látható. Ráadásul a szívünk dobog. Szívműtermékek szinte minden embernél jelen vannak az EEG-n. A bőr alatti erekben a vér lüktetéséből erednek.
Vannak klassz módszerek, amelyek segítenek megszabadulni az összes műtárgytól.Eltávolíthatja a műtermékeket, vagy szűrheti őket.Vannak olyan módszerek, amelyek lehetővé teszik a szívverésnek, a szemmotoros műtermékeknek megfelelő komponensek eltávolítását, és az EEG-jel szűrését a szükséges tartományban. Ezután az idő-frekvencia analízist használják jelelemzési módszerként. Kiértékeljük az egyes ritmusok energiáját, és megnézzük, melyikben van a keresett hatáshoz kapcsolódó dinamika. Az idő-frekvencia elemzés magában foglalja a waveleteket, a Fourier-analízist stb.
A következő lépés az agy különböző területei közötti funkcionális kapcsolatok létrehozása.Amikor csinálunk valamit (mozgatjuk a kezünket,képzeljük el a kézmozdulatokat), agyi régióink szinkron vagy deszinkron kölcsönhatásba lépnek. Az interakció során befolyásolják egymást. Ezen hatások alapján fel lehet építeni egy funkcionális kapcsolatok hálózatát, amely leírja, hogy mely kapcsolatok erősödnek és melyek gyengülnek, és ez alapján következtetést vonhatunk le arról, hogyan építik fel és dolgozzák fel tevékenységünket az idegsejtek. az egész agyat. A mesterséges neurális hálózatok itt a legígéretesebbek, mert gyorsan működnek, és a neuronok biológiai modelljén alapulnak.
Az EEG-jel összetett szerkezet, sok összetevőből áll, de összetettsége idővel és attól függően változik, hogy mit csinálunk.Ennek a komplexitásnak a dinamikájából megérthetjük azttörténik, értékelje, osztályozza és ez alapján készítsen valamilyen osztályozót. Konkrét példa a műtermékek eltávolítása. Tegyük fel, hogy többcsatornás EEG-jelünk van, és szinte minden csatornán interferenciát okozó műtermékeket mutat. És úgy néznek ki, mint egy okulomotoros műtermék. Eltávolításuk független komponens módszerrel történik. Minden jel több komponensre bomlik, amelyek saját információkat tartalmaznak. Az egyik tartalmaz valamit, amire nincs szükségünk a jelben – ez a szemmozgásos műtermék. Fogjuk és kidobjuk. Tiszta, informatívabb jelzést kapunk, amely tartalmazza, hogy mire van szükségünk. A szűrés alapvető dolog.
Egy jel szűrhető különböző frekvenciatartományokban.Alfa ritmus (8-14 Hz) és béta ritmus (15-30 Hz) -ez az a két agyritmus, a két frekvenciakomponens, amely a legtöbb információt tartalmazza arról, hogy az agy hogyan dolgozza fel a motoros aktivitást. Ha képzeletbeli vagy valós mozdulatokat szeretnénk osztályozni, akkor az alfa és béta ritmushoz fordulunk, és keresünk rajtuk mintát.
A minta megkeresése osztályozási feladat.Megnézni a mintát tudunkhasználja az idő-frekvencia elemzési módszert. A mintázat az EEG motoros aktivitása, és a leggyakrabban idézett eseményhez kapcsolódó deszinkronizáció. Vegyük az alfa ritmus aktivitását. Nagyon sok információt tartalmaz arról, hogyan mozogunk. Ez az információ a következő: ha mozgást végzünk, az információfeldolgozásban részt vevő neuronok száma csökken. Így az alfa ritmus elnyomódik. Az amplitúdója csökken, és kevesebb energiát termel. Az alfa-ritmus ezen elnyomása a mozgás során végig folytatódik. Ha azt látjuk, hogy az alfa ritmus leesett, akkor azt mondhatjuk, hogy abban a pillanatban mozgás történt. Például egy személy ökölbe szorítja a kezét. Az alfa ritmus leesik, energiája csökken. Deszinkronizál, és mi ezt látjuk. Ezután az ember kifeszíti a kezét, és az alfa-ritmus helyreáll, és visszatér normál állapotába. Az egész probléma az, hogy a deszinkronizálás jól látható az átlagolt adatokban. Több mozgást végzünk, mindegyikhez kiszámítjuk a hullámfelületet, átlagoljuk őket, és világos képet kapunk. Egyetlen mozgást végzünk, megszámoljuk a hullámfelületét, és semmit sem látunk. Nem értünk semmit, mert ez a mozgás nagyon finom hatás.
Lásd még:
Nézze meg, hogy néz ki a nyár a Saturnán
Volt egy fénykép arról, hogy a sivatagi por "áramlik" az Atlanti-óceánba
Nézze meg, mit láthat a Hubble utódteleszkópja az űrben