אלנה פיציק — младший научный сотрудник Лаборатории нейронауки и когнитивных технологий Университета
תקשורת בין המחשב למוח
Интерфейс «мозг — компьютер» — это система, которая обеспечивает взаимодействие между мозгом и компьютером. זה פותח ערוץ תקשורת בין המוח ל-מחשב ומאפשר להם להחליף מידע זה עם זה. הדוגמה הפשוטה ביותר היא יצירת פקודות למכשיר חיצוני המשתמש בפעילות מוחית. מכשיר חיצוני יכול להיות מחשב, אפליקציה, רובוט, מל"ט, תותב, שלד-חוץ, או כל דבר אחר. היקף ממשקים כאלה הוא רחב מאוד.
החלק החשוב ביותר בממשק הוא הטכנולוגיה להקלטת אותות ביולוגיים מהמוח. Существует множество технологий, которые можно применять в интерфейсах. Сигналы электрической активности записываются с помощью усилителя — электроэнцефалографа. Они передаются на сервер, который обрабатывает эти сигналы. Существуют очень маленькие, компактные интерфейсы, которые используют беспроводные технологии. Там буквально один маленький чип. Но если вы планируете использовать интерфейс в клинических условиях (для постинсультной реабилитации, например), то, наверное, хотите, чтобы у вас было много каналов и большие данные. Обработка Big Data требует очень много вычислительных ресурсов, поэтому чаще всего используется отдельный компьютер, на котором стоит специальное программное обеспечение. И после того, как это ПО обработает сигнал головного мозга, он переводится в команды для внешнего устройства, обеспечивая обратную связь. На месте классического монитора может быть что угодно: от приложения мониторинга вашего настроения до системы управления роботом.
ניתן לחלק ממשקי מחשב ומוח לשלושה סוגים עיקריים. Во-первых, это активный нейроинтерфейс, который подразумевает, что пользователь непосредственно и осознанно контролирует внешнее устройство или приложение. Нейроинтерфейс эту активность мозга, которую пользователь генерирует, считывает, обрабатывает и преобразовывает в комнады. Второй тип — реактивный нейроинтерфейс. В нем активность мозга не вырабатывается мозгом осознанно, а стимулируется внешним воздействием — светом, звуком, тактильными ощущениями, командами. Например, изображения или звуковая стимуляция, которые вызывают у нас в голове определенный ответ. И этот ответ мы не можем осознанно, без внешнего стимула сгенерировать, поэтому нуждаемся в какой-то обратной связи. Интерфейс «мозг — компьютер» ищет в наших мозгах эту реакцию на внешний стимул и использует ее для генерации команд и управления внешним устройством или для профилирования обратной связи. Третий тип нейроинтерфейса — это пассивный нейроинтерфейс. Самый сложный и непонятный, потому что это он вообще не подразумевает генерации никаких команд для внешнего устройства и никакого контроля. Этот интерфейс пассивно на вас сидит и мониторит ваше состояние в процессе повседневной деятельности. То есть вы читаете, работаете, водите машину, а нейроинтерфейс мониторит вас. Он может применяться для отслеживания уровня внимания, сосредоточенности, усталости, когнитивной нагрузки, а также давать вам какую-то обратную связь по поводу вашего состояния.
שיקום עצבי ושימושים אחרים בממשקים
Нейроинтерфейс имеет высокую социальную значимость для разработки различных систем реабилитации и повышения качества жизни людей с дополнительными потребностями. Таких, как люди с синдромом запертого человека — они потеряли любую возможность контакта с внешним миром, но при этом сохранили свое сознание; это полностью парализованные люди, которые не могут говорить, двигаться и даже двигать глазами. Таким образом, у них нет никаких других вариантов для коммуникации, кроме как использовать нейроинтерфейсы для того, чтобы считывать их активность мозга и преобразовывать ее в определенные команды. Этими командами может быть генерация речи, управление различными приложениями для того, чтобы сохранить повседневную функциональность, а также обеспечить базовую коммуникацию с другими людьми. Менее тяжелое состояние — это частичные параличи. Например, люди в инвалидной коляске, которые не могут ходить, или различные парезы после инсульта или в результате травмы. В случае с параличом, если он неизлечимый, то можно улучшить качество жизни такого человека, если предоставить ему какой-то экзоскелет или ортез, который можно будет контролировать с помощью нейроинтерфейса. Это одно из наиболее популярных направлений в разработке нейроинтерфейсов.
Самое популярное применение нейроинтерфейсов в медицине — это нейрореабилитация. Это возможность ускорить процесс реабилитации человека после травмы или инсульта с помощью тренировок с интерфейсом «мозг — компьютер», который подразумевает поддержку моторной активности, то есть ряд воображаемых движений. Существует множество исследований, которые показали, что такие интерфейсы действительно значительно ускоряют и улучшают процесс реабилитации людей, возвращая им утраченные моторные функции.
לאחרונה, ממשקי מוח למחשב פרצו לשוק המיינסטרים וצברו קהל רחב יותר. Сегодня нейроинтерфейс можно купить на eBay за небольшие деньги, он будет стоить даже дешевле, чем смартфон. В первую очередь, их применяют для развлечения — в игровой индустрии. Также очень часто нейроинтерфейсы используют для мониторинга различных состояний — настроения или фаз сна. Нейроинтерфейсы для медитации помогают человеку расслабляться и направляют его в соответствии с результатами мониторинга активности его мозга. Используют подобные устройства и для разработки различных систем тренировки когнитивных навыков — внимания, сосредоточенности или когнитивной нагрузки. Это важная сфера, потому что может применяться, например, в разработке систем когнитивной нагрузки для пилотов в самолетах, для водителей-дальнобойщиков.
מה המוח וכיצד ניתן למדוד את פעילותו
אתה ואני המוח שלנו. Мозг состоит из клеток, которые называются нейронами. А каждый нейрон состоит из ядра, тела и различных отростков, которые обеспечивают его коммуникацию с другими нейронами — это дендриты, аксоны и терминал (продолжение аксона для коммуникации с другими нейронами — «Хайтек»). Один нейрон — довольно простая структура, но нейронов в голове — миллиарды. Таким образом, все вместе они создают огромную сеть, которая может обрабатывать сложные массивы данных и обеспечивать нас как личностей.
המוח הוא מחשב-על, כלומר מערכת שיכולה לעבד כמויות אדירות של מידע. Нейроны взаимодействуют друг с другом в основном двумя способами — это электричество и химические связи. Электрический сигнал вырабатывается нейроном и через аксон передается на синапсы (связи между нейронами — «Хайтек») другого нейрона. Когда электрический сигнал поступает на выход одного нейрона, он преобразуется в некоторые химические сообщения, которые называются нейротрансмиттеры. И они передаются с выхода одного нейрона на вход другого, который, в свою очередь, их принимает, обрабатывает, превращает в электрический сигнал и передает дальше по этой цепочке. Нейрон может как принять и пропустить через себя электрический сигнал, так и погасить его, не принять и прервать цепочку. Любая наша деятельность формирует сеть нейронов, которые вспыхивают непрерывно, формируют некоторый паттерн, который позволяет обработать множество активных типов деятельности человека.
ישנן מספר שיטות למדידת הפעילות החשמלית של המוח. Во-первых, это магнитная энцефалография, подразумевающая измерение электромагнитных полей, которые возникают в результате электрической активности мозга. МЭГ-установка — это большое устройство, в котором человек сидит неподвижно, потому что электроды, считывающие магнитное поле, не накладываются на голову, а находятся на некотором расстоянии от нее. МЭГ очень чувствительна к различным внешним помехам — в том числе магнитному полю земли, другим магнитным полям, которыми буквально переполнена вся наша реальность. Поэтому, чтобы МЭГ хорошо работала, ее нужно поместить в экранированную комнату. Еще один метод — спектроскопия ближнего инфракрасного диапазона. Это технология нейровизуализации, которая позволяет нам визуализировать процессы, происходящие в мозге. Она использует инфракрасный диапазон света для измерения концентрации окси- и дезоксигемоглобина. Устройство представляет собой шапку, к которой прикреплены цилиндры, плотно прилегающие к поверхности кожи головы и разделенные на два типа — источник и детектор. Источник выпускает луч света в инфракрасном диапазоне. Этот свет проходит через кожу, череп и верхний слой кортекса, то есть мозга. Он проходит, возвращается обратно на поверхность кожи головы и улавливается детектором. При это все, что можно увидеть, несет в себе очень важную информацию об уровне кислорода в крови. Когда мы совершаем какое-то действие, например, таппинг, у нас кровь в моторной зоне насыщается кислородом. Мы можем это измерить и определить как некоторый паттерн. Следующая технология — это электроэнцефалография, самая эффективная из перечисленных. Она может быть использована в нейроинтерфейсе, потому что сравнительно недорого стоит и достаточно проста. Надел шапку, покрутил электроды, смазал их пастой — и они работают. Установка ЭЭГ — электроэнцефалограф — тоже представляет собой шапку, которая надевается на голову человеку. Она нужна, чтобы прижать электроды плотнее к голове человека и правильно расположить.
מדוע ממשקים עצביים יוטמעו במוח
Электроэнцефалографы бывают разные. Они пишут сигналы с разным разрешение и имеют разное количество каналов. ЭЭГ тоже бывают двух видов. В основном выделяют инвазивную и неинвазивную ЭЭГ. Инвазивная ЭЭГ подразумевает, что вам будет проводиться хирургическая операция со вскрытием черепа и накладыванием электродов непосредственно на поверхность вашего мозга. Понятное дело, что эта технология на людях не применяется. Она в основном применяется в науке на животных для изучения их активности, которая очень схожа с активностью человека. Сигнал с ЭЭГ, который считывается непосредственно с поверхности кортекса и очень маленькой группы нейронов, обладает лучшими характеристиками в сравнении с неинвазивной технологией. Потому что он свободен от различных артефактов, которые характерны для ЭЭГ.
ישנם אזורים בהם ממשקים פולשניים חשובים מאוד ולמעשה הטכנולוגיה היחידה שיכולה להקל על מצבו של אדם. Например, это эпилепсия. На базе нашей лаборатории изучается такой тип эпилепсии, как абсанс-эпилепсия. Это эпилепсия, которая не связана с судорогами. Человек не испытывает судороги при приступе, он просто на какое-то время отключается от мира. И он не знает об этом, что он отключился. Это состояние тоже очень опасное, несмотря на то, что нет никаких внешних проявлений, кроме того, что человек отключился от реальности. Потому что он может, например, не знать, что у него абсанс-эпилепсия, и отключиться за рулем. Поэтому предотвращать все приступы тоже очень важно, и интерфейс может его предотвратить. Когда у человека случается приступ, во-первых, у него синхронизируются различные ритмы мозговые — это очень легко поймать. Кроме того, приступу предшествует определенный тип активности — за какое-то время до приступа мы можем определить, что сейчас будет. Когда нейроинтерфейс это определяет, он может послать мозгу импульсы, помогающие этот приступ подавить. При этом человек, на постоянной основе носящий этот интерфейс, ничего не почувствует и не будет знать, что у него только что должен был состояться приступ.
Neuralink Ilona Mask שונה מאחריםממשקים עצביים פולשניים בכך שהאלקטרודות שכותבות את ה- EEG ממוקמות על חוטים דקים מאוד (דקים יותר משיער אנושי), והרבה אלקטרודות ממוקמות על נימה אחת. Возможна запись до 3 тыс. электродов. Это огромный объем данных. Учитывая, что они расположены на кортексе, они очень маленькие и пишут сигнал с маленькой группы нейронов. Таким образом мы можем поймать очень тонкую активность.
הטכנולוגיה של מאסק פותרת באופן חלקי את הבעיה הנפוצה בעת שימוש בפיזור שדה EEG לא פולשני (מהאנגלית "חוזק שדה חשמלי" - "היי טק"). Когда мы пишем неинвазивную ЭЭГ, то накладываем электрод на голову, и он записывает с большой группы нейронов. Она генерирует общее энергетическое поле. Электрические поля с разных нейронов накладываются друг на друга и мешают друг другу. Таким образом, когда мы пишем определенный тип активности, на самом деле имеем много разных активностей, что мешает обработке. И очень большая проблема со всеми инвазивными интерфейсами заключается в том, что наш организм не хочет, чтобы в него пихали посторонние предметы.
EEG שאינו פולשני הוא EEG בו אנו משתמשים באופן שוטף. По сути, это электроды, накладываемые на поверхность головы при помощи шапки. Каждый электрод пишет активность определенной группы нейронов. Расположение электродов очень важно, потому что сильно влияет на результат обработки.
Электроэнцефалограмма представляет собой электрический сигнал. Обработка этого сигнала — задача радиофизики. Мы можем применять обычные методы анализа для того, чтобы выделять особенности этого сигнала. Наша задача выделить определенные паттерны, которые соответствуют этому движению.
הקשיים העיקריים ביצירת ממשקים עצביים
Почему вообще так сложно создать нейроинтерфейс? Потому что это очень сложные задачи: обрабатывать ЭЭГ и выделять паттерны. Они требуют комплексного и аккуратного подхода. Во-первых, потому что каждый человек индивидуален, как и его мозг. Даже у гомозиготных близнецов очень разные мозги, как отпечатки пальцев. Мы не можем создать одну универсальную систему, работающую со всеми людьми одинаково. Ее надо под каждого подстраивать, калибровать и постоянно изменять. Следующая причина — специфика задания. Каждый человек может одно и то же задание выполнять по-разному и аккумулировать разные активности. Расположение сенсоров — тоже человеческий фактор. В разных экспериментах сенсоры могут располагаться немного по-другому, но это тоже очень важно, потому что они будут писать другую активность. Еще одна причина — нестационарная динамика мозга во всех временных масштабах. Это значит, что она постоянно меняется во всех временных масштабах. Мы можем взять большой отрезок сигнала ЭЭГ, разбить его на секунды, и каждая секунда будет разной. Мозги постоянно меняются, эволюционируют и подстраиваются под внешнюю среду. Важная проблема — высокий уровень шума в записях ЭЭГ и артефакты. Поскольку мы накладываем электроды на поверхность кожи головы, а под ней, между кожей и черепом, присутствуют мышечные волокна, которые работают, приходят в движение и создают какие-то двигательные артефакты на ЭЭГ-сигнале. Помимо этого мы постоянно двигаем глазами, моргаем, и это всё тоже дает наводку на ЭЭГ, которая видна не только на каналах на лбу, но и на затылке. Кроме того, у нас бьется сердце. Сердечные артефакты присутствуют на ЭЭГ почти у всех людей. Они возникают от пульсации крови в сосудах под кожей.
Существуют классные методы, которые помогают нам избавиться от всех артефактов. Можно удалить артефакты или отфильтровать их. Существуют методы, позволяющие удалять компоненты, соответствующее сердцебиению, глазодвигательным артефактам, и отфильтровать ЭЭГ-сигнал в нужном нам диапазоне. Далее применяется частотно-временной анализ как метод анализа сигнала. Мы оцениваем энергию каждого ритма и смотрим, какой из них содержит некую динамику, ассоциированную с эффектом, который ищем. Частотно-временной анализ — это вейвлеты, анализ Фурье и прочее.
השלב הבא הוא יצירת קשרים תפקודיים בין אזורים שונים במוח. Когда мы что-то делаем (двигаем руками, воображаем движения руками), наши области мозга взаимодействуют либо синхронно, либо десинхронно. Они влияют друг на друга в процессе этого взаимодействия. На основе этих влияний можно построить сеть функциональных связей, описывающую, какие связи усиливаются, какие слабеют, и на основе этого делать вывод о том, как в масштабе всего мозга строится и обрабатывается наша активность нейронами. Здесь наиболее перспективны искусственные нейронные сети, потому что они быстро работают и основаны на биологической модели нейронов.
Сигнал ЭЭГ — это сложная структура, где много компонентов, но ее сложность меняется со временем и в зависимости от того, что мы делаем. По динамике этой сложности мы можем понять, что происходит, оценить это, классифицировать и сделать какой-то классификатор на этой основе. Конкретный пример — удаление артефактов. Допустим, у нас есть многоканальный сигнал ЭЭГ, и на нем видны артефакты, которые дают наводку почти на всех каналах. И они похожи на глазодвигательные артефакты. Они удаляются методом независимых компонентов. Каждый сигнал раскладывается на несколько компонентов, которые содержат свою информацию. Один из них содержит то, что нам не нужно в сигнале — тот самый глазодвигательный артефакт. Мы берем его и выкидываем. Получаем чистый, более информативный сигнал, содержащий то, что нам нужно. Фильтрация — базовая вещь.
ניתן לסנן אות אחת בטווחי תדרים שונים. Альфа-ритм (8–14 Гц) и бета-ритм (15–30 Гц) — это два ритма мозга, две частотные компоненты, которые содержат в себе наибольшее количество информации о том, как мозг обрабатывает моторную активность. Если мы хотим классифицировать воображаемые или реальные движения, мы обращаемся к альфа- и бета-ритму и ищем на них паттерн.
מציאת דפוס היא משימת סיווג. Чтобы посмотреть на паттерн, мы можем воспользоваться методом частотно-временного анализа. Паттерн — это двигательная активность на ЭЭГ, а наиболее часто упоминаемый — это десинхронизация, связанная с событием. Мы берем активность альфа-ритма. Он содержит в себе много информации о том, как мы двигаемся. Эта информация заключается в следующем: когда мы совершаем движение, уменьшается количество нейронов, которые участвуют в обработке информации. Таким образом, альфа-ритм подавляется. У него уменьшается амплитуда и он генерирует меньше энергии. Вот это подавление альфа-ритма продолжается на всем протяжении совершения движения. Если мы видим, что альфа-ритм упал, можно сказать, что в этот момент произошло движение. Например, человек сжимает кисть в кулак. Альфа-ритм падает, его энергия уменьшается. Он десинхронизируется, и мы это видим. Потом человек разжимает руку, и альфа-ритм восстанавливается и возвращается к своему обычному состоянию. Вся проблема заключается в том, что десинхронизация хорошо видна на усредненных данных. Мы берем несколько движений, для каждого считаем вейвлетную поверхность, усредняем их, получаем яркую картинку. Мы берем одно движение, считаем его вейвлетную поверхность и не видим ничего. Нам ничего не понятно, потому что это движение — это очень тонкий эффект.
ראה גם:
ראה איך נראה הקיץ בשבתאי
הייתה תמונה של איך "זורם" אבק מדברי לאוקיאנוס האטלנטי
ראו מה יכול הטלסקופ ממשיך דרכו של האבל לראות בחלל