Elena Pitsik— Młodszy pracownik naukowy w Uniwersyteckim Laboratorium Neuronauki i Technologii Kognitywnych
Komunikacja między komputerem a mózgiem
Interfejs mózg-komputer to system umożliwiający interakcję między mózgiem a komputerem.Otwiera kanał komunikacji między mózgiem akomputer i umożliwia im wymianę informacji między sobą. Najprostszym przykładem jest generowanie poleceń dla zewnętrznego urządzenia za pomocą aktywności mózgu. Urządzeniem zewnętrznym może być komputer, aplikacja, robot, dron, proteza, egzoszkielet lub cokolwiek innego. Zakres takich interfejsów jest bardzo szeroki.
Najważniejszą częścią interfejsu jest technologia rejestracji sygnałów biologicznych z mózgu.Istnieje wiele technologii, które mogą to zrobićzastosować w interfejsach. Sygnały aktywności elektrycznej rejestrowane są za pomocą wzmacniacza – elektroencefalografu. Są one przesyłane do serwera, który przetwarza te sygnały. Istnieją bardzo małe, kompaktowe interfejsy wykorzystujące technologię bezprzewodową. Jest dosłownie jeden mały chip. Jeśli jednak planujesz używać interfejsu w warunkach klinicznych (na przykład do rehabilitacji po udarze), prawdopodobnie potrzebujesz wielu kanałów i dużych zbiorów danych. Przetwarzanie Big Data wymaga dużych zasobów obliczeniowych, dlatego najczęściej wykorzystuje się osobny komputer ze specjalnym oprogramowaniem. Po przetworzeniu sygnału mózgowego przez to oprogramowanie jest on tłumaczony na polecenia dla urządzenia zewnętrznego, dostarczając informacji zwrotnej. Zamiast klasycznego monitora może być wszystko: od aplikacji monitorującej nastrój po system sterowania robotem.
Interfejsy mózg-komputer można podzielić na trzy główne typy.Po pierwsze, jest to aktywny interfejs neuronowy, któryoznacza, że użytkownik bezpośrednio i świadomie kontroluje zewnętrzne urządzenie lub aplikację. Neurointerfejs to aktywność mózgu, którą użytkownik generuje, odczytuje, przetwarza i przekształca w polecenia. Drugi typ to reaktywny interfejs neuronowy. W nim aktywność mózgu nie jest wytwarzana przez mózg świadomie, ale jest stymulowana przez wpływy zewnętrzne - światło, dźwięk, wrażenia dotykowe, polecenia. Na przykład obrazy lub stymulacja dźwiękowa, które wywołują określoną reakcję w naszym umyśle. Nie możemy świadomie wygenerować tej odpowiedzi bez zewnętrznego bodźca, dlatego potrzebujemy pewnego rodzaju informacji zwrotnej. Interfejs mózg-komputer wyszukuje tę reakcję na bodziec zewnętrzny w naszych mózgach i wykorzystuje ją do generowania poleceń i sterowania urządzeniem zewnętrznym lub do profilowania informacji zwrotnych. Trzecim typem interfejsu neuronowego jest pasywny interfejs neuronowy. Najbardziej skomplikowany i niezrozumiały, bo nie polega na generowaniu żadnych poleceń dla urządzenia zewnętrznego i żadnej kontroli. Interfejs ten biernie spoczywa na Tobie i monitoruje Twój stan podczas codziennych czynności. Oznacza to, że czytasz, pracujesz, prowadzisz samochód, a interfejs neuronowy Cię monitoruje. Można go używać do śledzenia poziomu uwagi, skupienia, zmęczenia, obciążenia poznawczego, a także do przekazywania informacji zwrotnych na temat swojego stanu.
Neurorehabilitacja i inne zastosowania interfejsów
Neurointerfejs ma duże znaczenie społeczne dla rozwoju różnorodnych systemów rehabilitacji i poprawy jakości życia osób z dodatkowymi potrzebami.Na przykład osoby z syndromem zamknięcia –stracili wszelką możliwość kontaktu ze światem zewnętrznym, ale jednocześnie zachowali świadomość; Są to osoby całkowicie sparaliżowane, które nie mogą mówić, poruszać się, a nawet poruszać oczami. Dlatego nie mają innych możliwości komunikacji niż używanie interfejsów neuronowych do odczytywania aktywności mózgu i przekładania jej na określone polecenia. Poleceniami tymi mogą być generowanie mowy, sterowanie różnymi aplikacjami w celu utrzymania codziennej funkcjonalności, a także zapewnienie podstawowej komunikacji z innymi ludźmi. Mniej poważnym stanem jest częściowy paraliż. Na przykład osoby na wózku inwalidzkim, które nie mogą chodzić, lub różne niedowłady po udarze lub w wyniku urazu. W przypadku paraliżu, jeśli jest on nieuleczalny, wówczas jakość życia takiej osoby można poprawić dostarczając mu pewnego rodzaju egzoszkielet lub ortezę, którą można sterować za pomocą interfejsu neuronowego. Jest to jeden z najpopularniejszych obszarów rozwoju interfejsów neuronowych.
Najpopularniejszym zastosowaniem interfejsów neuronowych w medycynie jest neurorehabilitacja.To szansa na przyspieszenie procesu rehabilitacjiosoba po urazie lub udarze mózgu korzystająca z treningu z interfejsem „mózg-komputer”, który polega na wspomaganiu aktywności ruchowej, czyli serii wyimaginowanych ruchów. Istnieje wiele badań, które wykazały, że takie interfejsy naprawdę znacząco przyspieszają i usprawniają proces rehabilitacji człowieka, przywracając mu utracone funkcje motoryczne.
Niedawno interfejsy mózg-komputer przedarły się na główny rynek i zyskały szerszą publiczność.Dziś interfejs neuronowy można kupić na eBayu zaza niewielkie pieniądze, będzie kosztować nawet mniej niż smartfon. Przede wszystkim służą rozrywce – w branży gier. Bardzo często interfejsy neuronowe służą także do monitorowania różnych stanów – nastroju czy faz snu. Interfejsy neuronowe do medytacji pomagają człowiekowi się zrelaksować i prowadzą go zgodnie z wynikami monitorowania aktywności jego mózgu. Podobne urządzenia służą także do opracowywania różnych systemów treningu umiejętności poznawczych – uwagi, koncentracji czy obciążenia poznawczego. Jest to ważny obszar, ponieważ można go wykorzystać np. przy opracowywaniu systemów obciążeń poznawczych dla pilotów samolotów i kierowców ciężarówek.
Czym jest mózg i jak można zmierzyć jego aktywność
Ty i ja jesteśmy naszym mózgiem.Mózg składa się z komórek tzwneurony. A każdy neuron składa się z jądra, ciała i różnych procesów zapewniających jego komunikację z innymi neuronami - są to dendryty, aksony i terminal (kontynuacja aksonu do komunikacji z innymi neuronami - „High-Tech”). Jeden neuron to dość prosta konstrukcja, ale w głowie są miliardy neuronów. W ten sposób razem tworzą ogromną sieć, która może przetwarzać złożone zbiory danych i zapewniać nam jako jednostkom.
Mózg to superkomputer, czyli system, który może przetwarzać ogromne ilości informacji.Neurony oddziałują głównie między sobąna dwa sposoby - wiązania elektryczne i chemiczne. Sygnał elektryczny jest wytwarzany przez neuron i przekazywany przez akson do synaps (połączeń między neuronami – „High-Tech”) innego neuronu. Kiedy sygnał elektryczny dociera do wyjścia jednego neuronu, jest przekształcany na pewne komunikaty chemiczne zwane neuroprzekaźnikami. I są przesyłane z wyjścia jednego neuronu na wejście innego, który z kolei je odbiera, przetwarza, zamienia na sygnał elektryczny i przesyła dalej tym łańcuchem. Neuron może albo odebrać i przekazać przez siebie sygnał elektryczny, albo go zgasić, ale nie odebrać i przerwać łańcuch. Każda nasza aktywność tworzy sieć neuronów, które stale migają, tworząc pewien wzór, który pozwala nam przetwarzać wiele aktywnych rodzajów ludzkiej aktywności.
Istnieje kilka metod pomiaru aktywności elektrycznej mózgu.Po pierwsze, jest to encefalografia magnetyczna,która polega na pomiarze pól elektromagnetycznych powstających w wyniku aktywności elektrycznej w mózgu. Maszyna MEG to duże urządzenie, w którym osoba siedzi nieruchomo, ponieważ elektrody odczytujące pole magnetyczne nie są umieszczone na głowie, ale znajdują się w pewnej odległości od niej. MEG jest bardzo wrażliwy na różne zakłócenia zewnętrzne – w tym na pole magnetyczne Ziemi i inne pola magnetyczne, którymi dosłownie wypełniona jest cała nasza rzeczywistość. Dlatego, aby MEG dobrze działał, należy go umieścić w osłoniętym pomieszczeniu. Inną metodą jest spektroskopia w bliskiej podczerwieni. Jest to technologia neuroobrazowania, która pozwala nam zwizualizować procesy zachodzące w mózgu. Wykorzystuje światło podczerwone do pomiaru stężenia oksy- i deoksyhemoglobiny. Urządzenie składa się z nasadki, do której przymocowane są cylindry, ściśle przylegającej do powierzchni skóry głowy i podzielonej na dwa typy - źródło i detektor. Źródło emituje wiązkę światła w zakresie podczerwieni. Światło to przechodzi przez skórę, czaszkę i górną warstwę kory, czyli mózg. Przechodzi przez nią, wraca na powierzchnię skóry głowy i zostaje wyłapany przez detektor. Co więcej, wszystko, co można zobaczyć, niesie ze sobą bardzo ważne informacje na temat poziomu tlenu we krwi. Kiedy wykonujemy jakąś czynność, taką jak opukiwanie, nasza krew w strefie motorycznej zostaje nasycona tlenem. Możemy to zmierzyć i zdefiniować jako wzór. Następną technologią jest elektroencefalografia, z której jest ona najskuteczniejsza. Można go zastosować w interfejsie neuronowym, ponieważ jest stosunkowo niedrogi i dość prosty. Założyłem nakładkę, zakręciłem elektrody, nasmarowałem pastą - i zadziałały. Instalacja EEG – elektroencefalograf – to także kapelusz zakładany na głowę. Należy mocniej docisnąć elektrody do głowy osoby i prawidłowo je ustawić.
Dlaczego interfejsy neuronowe miałyby być osadzone w mózgu?
Elektroencefalografy są inne.Zapisują sygnały o różnych rozdzielczościach i mająróżna liczba kanałów. EEG występuje również w dwóch rodzajach. Zasadniczo wyróżnia się inwazyjne i nieinwazyjne EEG. Inwazyjne EEG obejmuje operację polegającą na otwarciu czaszki i umieszczeniu elektrod bezpośrednio na powierzchni mózgu. Oczywiste jest, że ta technologia nie jest stosowana u ludzi. Wykorzystuje się go głównie w naukach o zwierzętach do badania ich aktywności, która jest bardzo podobna do działalności człowieka. Sygnał EEG, odczytywany bezpośrednio z powierzchni kory i bardzo małej grupy neuronów, ma lepszą wydajność niż technologia nieinwazyjna. Ponieważ jest wolny od różnych artefaktów charakterystycznych dla EEG.
Są obszary, w których inwazyjne interfejsy są bardzo ważne i właściwie jedyna technologia, która może złagodzić stan człowieka.Na przykład jest to epilepsja.W naszym laboratorium badamy rodzaj padaczki zwany padaczką nieświadomości. Jest to padaczka, która nie jest związana z napadami. Osoba nie odczuwa drgawek podczas ataku, po prostu na chwilę odłącza się od świata. I on o tym nie wie, że jest odłączony. Ten stan jest również bardzo niebezpieczny, pomimo faktu, że nie ma żadnych zewnętrznych przejawów poza faktem, że dana osoba jest odłączona od rzeczywistości. Ponieważ może na przykład nie wiedzieć, że ma epilepsję nieświadomą i stracić przytomność podczas jazdy. Dlatego bardzo ważne jest również zapobieganie wszelkim atakom, a interfejs może temu zapobiec. Kiedy dana osoba ma atak, po pierwsze synchronizują się różne rytmy mózgu - bardzo łatwo to uchwycić. Dodatkowo atak poprzedzony jest określonym rodzajem aktywności – już jakiś czas przed atakiem możemy określić, co będzie dalej. Kiedy interfejs neuronowy to wykryje, może wysłać do mózgu impulsy, które pomogą stłumić ten atak. Jednocześnie osoba, która na co dzień nosi ten interfejs, nic nie poczuje i nie będzie wiedziała, że właśnie miał mieć atak.
Maska Neuralink Ilona różni się od innychinwazyjne neurointerfejsy polegające na tym, że elektrody piszące EEG znajdują się na bardzo cienkich włóknach (cieńszych niż ludzki włos), a wiele elektrod znajduje się na jednym włóknie.Możliwość rejestracji do 3 tysięcy elektrod.To ogromna ilość danych. Biorąc pod uwagę, że znajdują się w korze mózgowej, są bardzo małe i zapisują sygnał z małej grupy neuronów. W ten sposób możemy uchwycić bardzo subtelną aktywność.
Technologia maski częściowo rozwiązuje problem, który jest częsty przy stosowaniu nieinwazyjnego EEG - rozproszenie pola (od angielskiego „electric field force” - „Hi-tech”).Kiedy zapisujemy nieinwazyjne EEG, nakładamy jeelektrodę na głowie i rejestruje dane z dużej grupy neuronów. Generuje ogólne pole energetyczne. Pola elektryczne pochodzące z różnych neuronów nakładają się na siebie i zakłócają. Kiedy więc piszemy określony rodzaj działania, tak naprawdę mamy wiele różnych działań, które zakłócają przetwarzanie. A bardzo dużym problemem związanym ze wszystkimi inwazyjnymi interfejsami jest to, że nasz organizm nie chce, aby wpychano w niego ciała obce.
Nieinwazyjny EEG to EEG, którego używamy na bieżąco.Zasadniczo są to umieszczone na nich elektrodypowierzchnia głowy z czapką. Każda elektroda rejestruje aktywność określonej grupy neuronów. Umiejscowienie elektrod jest bardzo ważne, ponieważ ma ogromny wpływ na wynik obróbki.
Elektroencefalogram jest sygnałem elektrycznym.Przetwarzanie tego sygnału jest zadaniem radiofizyki.Możemy zastosować konwencjonalne techniki analizy, aby wyizolować cechy tego sygnału. Naszym zadaniem jest podkreślenie pewnych wzorców, które odpowiadają temu ruchowi.
Główne trudności w tworzeniu interfejsów neuronowych
Dlaczego tak trudno jest stworzyć interfejs neuronowy?Ponieważ są to bardzo trudne zadania:przetworzyć EEG i zidentyfikować wzorce. Wymagają zintegrowanego i ostrożnego podejścia. Po pierwsze dlatego, że każdy człowiek jest indywidualny, podobnie jak jego mózg. Nawet homozygotyczne bliźnięta mają bardzo różne mózgi, podobnie jak odciski palców. Nie możemy stworzyć jednego uniwersalnego systemu, który działa tak samo na wszystkich ludzi. Trzeba go dostosowywać, kalibrować i stale zmieniać dla każdego. Następnym powodem jest specyfika zadania. Każda osoba może wykonywać to samo zadanie inaczej i łączyć różne czynności. Rozmieszczenie czujników jest również czynnikiem ludzkim. W różnych eksperymentach czujniki mogą być ustawione nieco inaczej, ale jest to również bardzo ważne, ponieważ zapisują inną aktywność. Innym powodem jest niestacjonarna dynamika mózgu we wszystkich skalach czasowych. Oznacza to, że podlega ciągłym zmianom we wszystkich skalach czasowych. Możemy wziąć duży fragment sygnału EEG i podzielić go na sekundy, a każda sekunda będzie inna. Mózgi stale się zmieniają, ewoluują i dostosowują się do środowiska zewnętrznego. Istotnym problemem jest wysoki poziom szumu w zapisach EEG i artefaktach. Ponieważ umieszczamy elektrody na powierzchni skóry głowy, a pod nią, pomiędzy skórą a czaszką, znajdują się włókna mięśniowe, które pracują, poruszają się i tworzą pewnego rodzaju artefakty motoryczne w sygnale EEG. Ponadto stale poruszamy oczami, mrugamy, a to wszystko daje również wskazówki do EEG, które jest widoczne nie tylko w kanałach na czole, ale także z tyłu głowy. Poza tym nasze serce bije. Artefakty kardiologiczne są obecne w EEG prawie u wszystkich osób. Powstają w wyniku pulsacji krwi w naczyniach podskórnych.
Istnieją fajne metody, które pomagają nam pozbyć się wszystkich artefaktów.Można usuwać artefakty lub je filtrować.Istnieją metody, które pozwalają usunąć składowe odpowiadające biciem serca, artefakty okoruchowe i przefiltrować sygnał EEG w potrzebnym nam zakresie. Następnie jako metodę analizy sygnału wykorzystuje się analizę czasowo-częstotliwościową. Oceniamy energię każdego rytmu i sprawdzamy, który z nich zawiera pewną dynamikę związaną z efektem, którego szukamy. Analiza czasowo-częstotliwościowa obejmuje falki, analizę Fouriera itp.
Następnym krokiem jest ustanowienie funkcjonalnych połączeń między różnymi obszarami mózgu.Kiedy coś robimy (poruszamy rękami,wyobraź sobie ruchy rąk), nasze obszary mózgu oddziałują na siebie synchronicznie lub desynchronicznie. Podczas tej interakcji wpływają na siebie nawzajem. Na podstawie tych wpływów można zbudować sieć powiązań funkcjonalnych opisującą, które połączenia ulegają wzmocnieniu, a które osłabieniu i na tej podstawie można wyciągnąć wniosek o tym, jak nasza aktywność jest budowana i przetwarzana przez neurony w skali cały mózg. Najbardziej obiecujące są tutaj sztuczne sieci neuronowe, ponieważ działają szybko i opierają się na biologicznym modelu neuronów.
Sygnał EEG jest złożoną strukturą składającą się z wielu elementów, jednak jego złożoność zmienia się w czasie i w zależności od tego, co robimy.Z dynamiki tej złożoności możemy to zrozumiećsię dzieje, oceń to, sklasyfikowaj i na tej podstawie stwórz jakiś klasyfikator. Konkretnym przykładem jest usuwanie artefaktów. Załóżmy, że mamy wielokanałowy sygnał EEG, który wykazuje artefakty powodujące zakłócenia na prawie wszystkich kanałach. I wyglądają jak artefakty okoruchowe. Usuwa się je metodą składowych niezależnych. Każdy sygnał jest rozkładany na kilka komponentów zawierających własne informacje. Jeden z nich zawiera w sygnale coś, czego nie potrzebujemy – ten sam artefakt okoruchowy. Bierzemy to i wyrzucamy. Otrzymujemy czysty, bardziej informacyjny sygnał zawierający to, czego potrzebujemy. Filtracja to podstawa.
Jeden sygnał może być filtrowany w różnych zakresach częstotliwości.Rytm alfa (8–14 Hz) i rytm beta (15–30 Hz) -są to dwa rytmy mózgowe, dwie składowe częstotliwości, które zawierają najwięcej informacji o tym, jak mózg przetwarza aktywność motoryczną. Jeśli chcemy sklasyfikować ruchy wyimaginowane lub rzeczywiste, zwracamy się do rytmu alfa i beta i szukamy na nich wzorca.
Znalezienie wzorca jest zadaniem klasyfikacyjnym.Aby spojrzeć na wzór, możemyzastosować metodę analizy czasowo-częstotliwościowej. Wzorzec to aktywność motoryczna w EEG, a najczęściej cytowaną jest desynchronizacja związana ze zdarzeniami. Przyjmujemy aktywność rytmu alfa. Zawiera wiele informacji o tym, jak się poruszamy. Informacje te są następujące: kiedy wykonujemy ruch, zmniejsza się liczba neuronów biorących udział w przetwarzaniu informacji. W ten sposób rytm alfa jest tłumiony. Jego amplituda maleje i generuje mniej energii. To tłumienie rytmu alfa trwa przez cały ruch. Jeśli zauważymy, że rytm alfa spadł, możemy powiedzieć, że w tym momencie nastąpił ruch. Na przykład osoba zaciska dłoń w pięść. Rytm alfa spada, jego energia maleje. Desynchronizuje się i możemy to zobaczyć. Następnie osoba rozluźnia rękę, a rytm alfa zostaje przywrócony i wraca do normalnego stanu. Cały problem polega na tym, że desynchronizacja jest wyraźnie widoczna w danych uśrednionych. Wykonujemy kilka ruchów, obliczamy powierzchnię falki dla każdego, uśredniamy je i otrzymujemy jasny obraz. Wykonujemy jeden ruch, liczymy jego powierzchnię falkową i nic nie widzimy. Nic nie rozumiemy, bo ten ruch to bardzo subtelny efekt.
Zobacz także:
Zobacz, jak wygląda lato na Saturnie
Było tam zdjęcie, jak pył pustyni „wpływa” do Oceanu Atlantyckiego
Zobacz, co teleskop będący następcą Hubble'a może zobaczyć w kosmosie