Elena Pitsik— Juniorforsker ved universitetets laboratorium for nevrovitenskap og kognitiv teknologi
Kommunikasjon mellom datamaskinen og hjernen
Et hjerne-datamaskin-grensesnitt er et system som muliggjør interaksjon mellom hjernen og en datamaskin.Det åpner en kommunikasjonskanal mellom hjernen ogdatamaskin og lar dem utveksle informasjon med hverandre. Det enkleste eksemplet er generering av kommandoer for en ekstern enhet som bruker hjerneaktivitet. En ekstern enhet kan være en datamaskin, en applikasjon, en robot, en drone, en protese, et eksoskjelett eller hva som helst. Omfanget av slike grensesnitt er veldig bredt.
Den viktigste delen av grensesnittet er teknologien for registrering av biologiske signaler fra hjernen.Det er mange teknologier som kan være detgjelde i grensesnitt. Signaler om elektrisk aktivitet registreres ved hjelp av en forsterker - en elektroencefalograf. De overføres til serveren, som behandler disse signalene. Det er veldig små, kompakte grensesnitt som bruker trådløs teknologi. Det er bokstavelig talt en liten brikke. Men hvis du planlegger å bruke grensesnittet i en klinisk setting (for eksempel for rehabilitering etter slag), så vil du sannsynligvis ha mange kanaler og store data. Behandling av Big Data krever mye dataressurser, så som oftest brukes en egen datamaskin med spesiell programvare. Og etter at denne programvaren behandler hjernesignalet, blir det oversatt til kommandoer for en ekstern enhet, og gir tilbakemelding. I stedet for en klassisk monitor kan det være alt: fra en applikasjon for å overvåke humøret ditt til et robotkontrollsystem.
Hjerner-datamaskin-grensesnitt kan deles inn i tre hovedtyper.For det første er dette et aktivt nevralt grensesnitt, sominnebærer at brukeren direkte og bevisst kontrollerer en ekstern enhet eller applikasjon. Nevrogrensesnittet er hjerneaktiviteten som brukeren genererer, leser, behandler og konverterer til kommandoer. Den andre typen er et reaktivt nevralt grensesnitt. I den produseres ikke hjerneaktiviteten bevisst av hjernen, men stimuleres av ytre påvirkninger - lys, lyd, taktile sensasjoner, kommandoer. For eksempel bilder eller lydstimulering som utløser en viss respons i sinnet vårt. Og vi kan ikke bevisst generere dette svaret, uten en ekstern stimulans, så vi trenger en slags tilbakemelding. Et hjerne-datamaskin-grensesnitt ser etter denne responsen på en ekstern stimulus i hjernen vår og bruker den til å generere kommandoer og kontrollere en ekstern enhet eller for å profilere tilbakemelding. Den tredje typen nevrale grensesnitt er et passivt nevralt grensesnitt. Det mest komplekse og uforståelige, fordi det ikke innebærer å generere noen kommandoer for en ekstern enhet og ingen kontroll i det hele tatt. Dette grensesnittet sitter passivt på deg og overvåker tilstanden din under dine daglige aktiviteter. Det vil si at du leser, jobber, kjører bil, og det nevrale grensesnittet overvåker deg. Den kan brukes til å spore oppmerksomhetsnivåer, fokus, tretthet, kognitiv belastning, og også gi deg noen tilbakemeldinger om tilstanden din.
Neurorehabilitering og annen bruk av grensesnitt
Nevrogrensesnittet har høy sosial betydning for utvikling av ulike rehabiliteringssystemer og forbedring av livskvaliteten til personer med tilleggsbehov.For eksempel personer med innelåst syndrom -de mistet all mulighet for kontakt med omverdenen, men beholdt samtidig bevisstheten; Dette er fullstendig lammet mennesker som ikke kan snakke, bevege seg eller til og med bevege øynene. Dermed har de ingen andre alternativer for kommunikasjon enn å bruke nevrale grensesnitt for å lese hjerneaktiviteten deres og oversette den til spesifikke kommandoer. Disse kommandoene kan være talegenerering, kontroll av ulike applikasjoner for å opprettholde hverdagsfunksjonalitet, samt gi grunnleggende kommunikasjon med andre mennesker. En mindre alvorlig tilstand er delvis lammelse. For eksempel personer i rullestol som ikke kan gå, eller ulike pareser etter hjerneslag eller som følge av skade. I tilfelle av lammelse, hvis det er uhelbredelig, kan livskvaliteten til en slik person forbedres ved å gi ham en slags eksoskjelett eller ortose som kan kontrolleres ved hjelp av et nevralt grensesnitt. Dette er et av de mest populære områdene i utviklingen av nevrale grensesnitt.
Den mest populære anvendelsen av nevrale grensesnitt i medisin er nevrorehabilitering.Dette er en mulighet til å få fart på rehabiliteringsprosessenen person etter en skade eller hjerneslag ved hjelp av trening med et "hjerne-datamaskin"-grensesnitt, som involverer støtte til motorisk aktivitet, det vil si en serie imaginære bevegelser. Det er mange studier som har vist at slike grensesnitt virkelig fremskynder og forbedrer prosessen med rehabilitering av mennesker betydelig, og gjenoppretter deres tapte motoriske funksjoner.
Nylig har hjerne-til-datamaskin-grensesnitt brutt gjennom til mainstream-markedet og fått et bredere publikum.I dag kan det nevrale grensesnittet kjøpes på eBay forsmå penger, vil det koste enda mindre enn en smarttelefon. Først og fremst brukes de til underholdning – i spillindustrien. Også veldig ofte brukes nevrale grensesnitt til å overvåke ulike tilstander - humør eller søvnfaser. Nevrale grensesnitt for meditasjon hjelper en person med å slappe av og veilede ham i samsvar med resultatene av overvåking av hjerneaktiviteten hans. Lignende enheter brukes også til å utvikle ulike systemer for trening av kognitive ferdigheter – oppmerksomhet, konsentrasjon eller kognitiv belastning. Dette er et viktig område fordi det kan brukes for eksempel i utvikling av kognitive lastsystemer for flypiloter og lastebilsjåfører.
Hva er hjernen og hvordan du kan måle aktiviteten
Du og jeg er hjernen vår.Hjernen består av celler kaltnevroner. Og hver nevron består av en kjerne, en kropp og forskjellige prosesser som sikrer dens kommunikasjon med andre nevroner - disse er dendritter, aksoner og en terminal (en fortsettelse av aksonet for kommunikasjon med andre nevroner - "High-Tech"). Ett nevron er en ganske enkel struktur, men det er milliarder av nevroner i hodet. Dermed skaper de sammen et enormt nettverk som kan behandle komplekse datasett og sørge for oss som individer.
Hjernen er en superdatamaskin, det vil si et system som er i stand til å behandle enorme mengder informasjon.Nevroner samhandler hovedsakelig med hverandreto måter - elektrisitet og kjemiske bindinger. Et elektrisk signal produseres av et nevron og overføres gjennom et akson til synapsene (forbindelser mellom nevroner - "High-Tech") til et annet nevron. Når et elektrisk signal kommer til utgangen av ett nevron, omdannes det til noen kjemiske meldinger som kalles nevrotransmittere. Og de overføres fra utgangen til en nevron til inngangen til en annen, som igjen mottar dem, behandler dem, gjør dem om til et elektrisk signal og overfører dem videre langs denne kjeden. Et nevron kan enten motta og sende et elektrisk signal gjennom seg selv, eller slukke det, ikke motta det og avbryte kjeden. Enhver av aktivitetene våre danner et nettverk av nevroner som blinker kontinuerlig, og danner et bestemt mønster som lar oss behandle mange aktive typer menneskelig aktivitet.
Det er flere metoder for å måle den elektriske aktiviteten til hjernen.For det første er dette magnetisk encefalografi,som går ut på å måle elektromagnetiske felt som oppstår som følge av elektrisk aktivitet i hjernen. En MEG-maskin er en stor enhet der en person sitter urørlig fordi elektrodene som leser magnetfeltet ikke er plassert på hodet, men befinner seg i et stykke unna det. MEG er veldig følsom for ulike eksterne forstyrrelser – inkludert jordas magnetfelt og andre magnetiske felt som hele vår virkelighet bokstavelig talt er fylt med. Derfor, for at MEG skal fungere godt, må den plasseres i et skjermet rom. En annen metode er nær-infrarød spektroskopi. Dette er en nevroavbildningsteknologi som lar oss visualisere prosessene som skjer i hjernen. Den bruker infrarødt lys for å måle konsentrasjonen av oksy- og deoksyhemoglobin. Enheten består av en hette som sylindere er festet til, tett ved siden av overflaten av hodebunnen og delt inn i to typer - kilde og detektor. Kilden sender ut en lysstråle i det infrarøde området. Dette lyset passerer gjennom huden, hodeskallen og det øvre laget av cortex, det vil si hjernen. Den passerer gjennom, går tilbake til overflaten av hodebunnen og fanges opp av detektoren. Dessuten har alt som kan sees svært viktig informasjon om nivået av oksygen i blodet. Når vi utfører en handling, som å tappe, er blodet vårt i motorsonen mettet med oksygen. Vi kan måle dette og definere det som et mønster. Den neste teknologien er elektroencefalografi, den mest effektive av disse. Det kan brukes i et nevralt grensesnitt fordi det er relativt billig og ganske enkelt. Jeg tok på en hette, snurret elektrodene, smurte dem med pasta - og de virket. En EEG-installasjon - en elektroencefalograf - er også en lue som plasseres på hodet til en person. Det er nødvendig å trykke elektrodene tettere mot personens hode og plassere dem riktig.
Hvorfor skulle nevrale grensesnitt være innebygd i hjernen
Elektroencefalografer er forskjellige.De skriver signaler med ulik oppløsning og harforskjellig antall kanaler. EEG kommer også i to typer. I utgangspunktet er det invasiv og ikke-invasiv EEG. Et invasivt EEG innebærer kirurgi for å åpne hodeskallen og plassere elektroder direkte på overflaten av hjernen din. Det er tydelig at denne teknologien ikke brukes hos mennesker. Det brukes hovedsakelig i dyrevitenskap for å studere deres aktivitet, som er veldig lik menneskelig aktivitet. EEG-signalet, som leses direkte fra overflaten av cortex og en svært liten gruppe nevroner, har bedre ytelse enn ikke-invasiv teknologi. Fordi den er fri for ulike artefakter som er karakteristiske for EEG.
Det er områder der invasive grensesnitt er veldig viktige og faktisk den eneste teknologien som kan lindre en persons tilstand.For eksempel er dette epilepsi.Vårt laboratorium studerer en type epilepsi som kalles fraværsepilepsi. Dette er epilepsi som ikke er forbundet med anfall. En person opplever ikke kramper under et angrep, han kobler seg ganske enkelt fra verden for en stund. Og han vet ikke om det, at han er frakoblet. Denne tilstanden er også veldig farlig, til tross for at det ikke er noen ytre manifestasjoner annet enn det faktum at personen har koblet seg fra virkeligheten. Fordi han for eksempel ikke vet at han har fraværsepilepsi og besvimer mens han kjører bil. Derfor er det også veldig viktig å forhindre alle angrep, og grensesnittet kan forhindre det. Når en person får et angrep, synkroniseres for det første forskjellige hjernerytmer - dette er veldig lett å fange. I tillegg innledes et angrep av en viss type aktivitet – en tid før angrepet kan vi fastslå hva som skal skje videre. Når det nevrale grensesnittet oppdager dette, kan det sende impulser til hjernen som hjelper til med å undertrykke dette angrepet. Samtidig vil en person som bruker dette grensesnittet regelmessig ikke føle noe og vil ikke vite at han akkurat var i ferd med å få et angrep.
Neuralink Ilona Mask er forskjellig fra andreinvasive neuro-grensesnitt ved at elektrodene som skriver EEG er lokalisert på veldig tynne filamenter (tynnere enn et menneskehår), og mange elektroder er plassert på ett filament.Det er mulig å ta opp opptil 3 tusen elektroder.Dette er en enorm mengde data. Gitt at de er plassert på cortex, er de veldig små og skriver et signal fra en liten gruppe nevroner. På denne måten kan vi fange veldig subtil aktivitet.
Musks teknologi løser delvis problemet som er vanlig når du bruker ikke-invasiv EEG - feltutbredelse (fra den engelske "electric field styrke" - "Hi-tech").Når vi skriver et ikke-invasivt EEG, legger vi over hverandreelektrode på hodet, og den registrerer fra en stor gruppe nevroner. Det genererer et generelt energifelt. Elektriske felt fra forskjellige nevroner overlapper og forstyrrer hverandre. Så når vi skriver en bestemt type aktivitet, har vi faktisk mange forskjellige aktiviteter, som forstyrrer behandlingen. Og et veldig stort problem med alle invasive grensesnitt er at kroppen vår ikke vil ha fremmedlegemer dyttet inn i den.
En ikke-invasiv EEG er en EEG som vi bruker fortløpende.I hovedsak er disse elektroder plassert påoverflaten av hodet med en hette. Hver elektrode registrerer aktiviteten til en bestemt gruppe nevroner. Plasseringen av elektrodene er svært viktig fordi det i stor grad påvirker prosesseringsresultatet.
Et elektroencefalogram er et elektrisk signal.Å behandle dette signalet er en oppgave innen radiofysikk.Vi kan bruke konvensjonelle analyseteknikker for å isolere trekk ved dette signalet. Vår oppgave er å fremheve visse mønstre som tilsvarer denne bevegelsen.
De største vanskelighetene med å skape nevrale grensesnitt
Hvorfor er det så vanskelig å lage et nevralt grensesnitt?Fordi dette er veldig vanskelige oppgaver:behandle EEG og identifisere mønstre. De krever en integrert og forsiktig tilnærming. For det første fordi hver person er individuell, akkurat som hjernen hans. Selv homozygote tvillinger har svært forskjellige hjerner, som fingeravtrykk. Vi kan ikke lage ett universelt system som fungerer likt for alle mennesker. Den må justeres, kalibreres og hele tiden endres for alle. Den neste grunnen er spesifikasjonene til oppgaven. Hver person kan utføre den samme oppgaven forskjellig og akkumulere forskjellige aktiviteter. Plassering av sensorer er også en menneskelig faktor. I forskjellige eksperimenter kan sensorene være plassert litt annerledes, men dette er også veldig viktig, fordi de vil skrive en annen aktivitet. En annen grunn er den ikke-stasjonære dynamikken i hjernen på alle tidsskalaer. Dette betyr at det er i konstant endring på alle tidsskalaer. Vi kan ta et stort stykke EEG-signal, bryte det ned i sekunder, og hvert sekund vil være annerledes. Hjerner er i konstant endring, utvikling og tilpasning til deres ytre miljø. Et viktig problem er det høye støynivået i EEG-opptak og artefakter. Fordi vi plasserer elektroder på overflaten av hodebunnen, og under, mellom huden og hodeskallen, er det muskelfibre som jobber, beveger seg og skaper en slags motoriske artefakter på EEG-signalet. I tillegg beveger vi hele tiden øynene våre, blunker, og alt dette gir også veiledning til EEG, som er synlig ikke bare på kanalene på pannen, men også på baksiden av hodet. Dessuten banker hjertet vårt. Hjerteartefakter er tilstede på EEG hos nesten alle mennesker. De oppstår fra pulsering av blod i karene under huden.
Det finnes kule metoder som hjelper oss å bli kvitt alle gjenstandene.Du kan fjerne artefakter eller filtrere dem.Det finnes metoder som lar deg fjerne komponenter som tilsvarer hjerteslag, oculomotoriske artefakter og filtrere EEG-signalet i det området vi trenger. Deretter brukes tids-frekvensanalyse som en signalanalysemetode. Vi evaluerer energien til hver rytme og ser hvilken som inneholder noe dynamikk knyttet til effekten vi ser etter. Tidsfrekvensanalyse inkluderer wavelets, Fourier-analyse, etc.
Det neste trinnet er å etablere funksjonelle forbindelser mellom forskjellige områder av hjernen.Når vi gjør noe (vi beveger hendene,forestill deg håndbevegelser), samhandler hjerneregionene våre enten synkront eller desynkront. De påvirker hverandre under denne interaksjonen. Basert på disse påvirkningene er det mulig å bygge et nettverk av funksjonelle koblinger som beskriver hvilke koblinger som styrkes og hvilke som svekkes, og ut ifra dette kan vi trekke en konklusjon om hvordan vår aktivitet bygges og bearbeides av nevroner på en skala av hele hjernen. Kunstige nevrale nettverk er de mest lovende her fordi de fungerer raskt og er basert på en biologisk modell av nevroner.
EEG-signalet er en kompleks struktur med mange komponenter, men kompleksiteten endres over tid og avhengig av hva vi gjør.Fra dynamikken i denne kompleksiteten kan vi forstå detskjer, evaluer det, klassifiser det og lag en slags klassifiserer på dette grunnlaget. Et spesifikt eksempel er fjerning av gjenstander. La oss si at vi har et flerkanals EEG-signal, og det viser artefakter som gir forstyrrelser på nesten alle kanaler. Og de ser ut som oculomotoriske artefakter. De fjernes ved hjelp av den uavhengige komponentmetoden. Hvert signal er dekomponert i flere komponenter som inneholder sin egen informasjon. En av dem inneholder noe vi ikke trenger i signalet - den samme okulomotoriske artefakten. Vi tar den og kaster den. Vi får et rent, mer informativt signal som inneholder det vi trenger. Filtrering er en grunnleggende ting.
Ett signal kan filtreres i forskjellige frekvensområder.Alfarytme (8–14 Hz) og betarytme (15–30 Hz) -dette er de to hjernerytmene, de to frekvenskomponentene, som inneholder mest informasjon om hvordan hjernen behandler motorisk aktivitet. Hvis vi ønsker å klassifisere imaginære eller virkelige bevegelser, vender vi oss til alfa- og betarytmen og ser etter et mønster på dem.
Å finne et mønster er en klassifiseringsoppgave.For å se på mønsteret kan vibruke tids-frekvensanalysemetoden. Mønsteret er motorisk aktivitet på EEG, og det mest omtalte er hendelsesrelatert desynkronisering. Vi tar aktiviteten til alfarytmen. Den inneholder mye informasjon om hvordan vi beveger oss. Denne informasjonen er som følger: når vi gjør en bevegelse, reduseres antallet nevroner som er involvert i å behandle informasjon. Dermed blir alfarytmen undertrykt. Amplituden minker og den genererer mindre energi. Denne undertrykkelsen av alfarytmen fortsetter gjennom hele bevegelsen. Hvis vi ser at alfarytmen har falt, kan vi si at bevegelse har skjedd i det øyeblikket. For eksempel knytter en person hånden inn i en knyttneve. Alfarytmen faller, energien avtar. Han desynkroniserer, og vi kan se det. Så løsner personen hånden, og alfarytmen gjenopprettes og går tilbake til normal tilstand. Hele problemet er at desynkronisering er tydelig synlig i gjennomsnittsdata. Vi tar flere bevegelser, beregner wavelet-overflaten for hver, gjennomsnittlig dem og får et lyst bilde. Vi tar en bevegelse, teller bølgeflaten og ser ingenting. Vi forstår ingenting fordi denne bevegelsen er en veldig subtil effekt.
Se også:
Se hvordan sommeren ser ut på Saturn
Det var et bilde av hvordan ørkenstøv "renner" ut i Atlanterhavet
Se hva Hubbles etterfølger-teleskop kan se i verdensrommet