Управляти машиною силою думки: як пристрої без слів розуміють наші бажання

Розмовляти з родичами, грати в комп'ютерну гру та керувати протезом – все це може робити навіть

паралізована людина, достатньо лише сили думки та інтерфейсу мозок-комп'ютер.

Як паралізовані люди повертаються до нормального життя?

Джеймс Джонсон сподівається, що одного разу зможе сістиза кермо знову. Якщо він це зробить, лише використовуючи силу своєї думки. У березні 2017 року Джонсон зламав шию через нещасний випадок і його майже повністю паралізувало нижче за плечі.

Реабілітологи Джонсона познайомили його здослідниками з Каліфорнійського технологічного інституту (Caltech) у Пасадені. Його запросили приєднатися до клінічних випробувань інтерфейсу мозок-комп'ютер (BCI або ІМК).

Спочатку йому провели нейрохірургічну операцію таімплантували дві сітки електродів у кору головного мозку. Ці електроди реєструють збудження нейронів у мозку. Далі дослідники використовують алгоритми для розшифрування його думок та намірів. Потім система використовує мозкову активність Джонсона для роботи з комп'ютерними програмами, або щоб допомогти йому рухатися в конкретному напрямку.

Вперше, коли Джонсон використовував інтерфейс мозок-комп'ютер, імплантований у листопаді 2018 року, він зміг керувати курсором по екрану. Для цього потрібно просто подумати про це.

З того часу Джонсон використав ІМК для управлінняроборукою, щоб грати у відеоігри та керувати модельованим автомобілем у віртуальній реальності. Джонсон — один із 35 осіб, яким на тривалий термін імплантували ІМК у мозок. Тільки близько 12 лабораторій проводять такі дослідження, але це число зростає.

Як добре пристрої зчитують думки та допомагають виконувати бажане?

За останні п'ять років діапазон навичок, якіможна відновити за допомогою ІМК значно розширився. Тільки в 2021 році вчені описали випадок, коли пацієнт використовував роботизовану руку, що посилає сенсорний зворотний зв'язок безпосередньо в його мозок. Також протезний мовний пристрій для тих, хто втратив здатність говорити через інсульт. І людину, яка могла спілкуватися з рекордною швидкістю, уявляючи, що вона пише від руки.

Чи можна повернути собі промову?

«Один із найсерйозніших наслідків від травми головного мозку – втрата здатності спілкуватися», – каже Едвард Чанг, нейрохірург та нейробіолог із Каліфорнійського університету в Сан-Франциско.

На початку роботи з ІМК учасники могли переміщатикурсор на екрані комп'ютера, представляючи рух своєї руки і те, як вони натискають на клавіші. Таке спілкування за допомогою курсора дозволяло передати приблизно 40 символів за хвилину — рекорд було встановлено у 2017 році командою під керівництвом Крішни Шеної, нейробіолога зі Стенфордського університету в Каліфорнії.

Потім, у 2021 році ця ж група повідомила про новий підхід, за допомогою якого учасник Денніс Деграр зміг передати вдвічі більше символів.

Колега Шеноя - Френк Уіллетт - запропонував Деграюуявити, що він пише слова від руки, поки дослідники вивчають дані з його моторної кори головного мозку. Система іноді важко розбирала сигнали, які стосувалися літер, візуально схожих на листі — r, n і h, але в цілому вона могла легко визначити всі літери.

Алгоритм декодування показав точність 95%, але при використанні автокорекції, схожої на ту, що є у звичайному смартфоні, точність зросла до 99%.

Але є й інший підхід до передачі інформації.Едвард Чанг, нейрохірург і нейробіолог із Каліфорнійського університету в Сан-Франциско, вигадав підхід, який фокусується на розмовній мові, а не на листі. Так само, як текст складається з окремих літер, мова складається з окремих одиниць, званих фонемами. В англійській мові налічується близько 50 фонем: кожну можна отримати за певного руху голосового тракту, мови та губ.

Група Чанга спочатку працювала над вивченням частинимозку, що генерує фонеми і, отже, мова — це погано вивчена область, яка називається дорсальною корою гортані. Дослідники створили систему декодування промови, яка відображає розшифровані сигнали користувача у вигляді тексту на екрані. У 2021 році група повідомила, що цей пристрій дозволив людині спілкуватися, використовуючи наперед визначений набір слів із 50 штук. Швидкість становила 15 слів за хвилину.

В цьому випадку вчені не записували дані зокремих нейронів. Натомість вони використовували електроди, розміщені на поверхні кори головного мозку, які виявляють усереднену активність усіх нейронів. Сигнали не такі точні, як від електродів, імплантованих у кору головного мозку, зате підхід менш інвазивний.

Чи є такі пристрої у вільному доступі?

На сьогоднішній день більшість імплантатів,які записують активність окремих нейронів, створила компанія Blackrock Neurotech. Це розробники медичного обладнання, які базуються на Солт-Лейк-Сіті. Але за останні сім років комерційний інтерес до ІМК різко зріс. Наприклад, у 2016 році підприємець Ілон Маск запустив NeuraLynx у Сан-Франциско, щоб розробити подібний пристрій. Компанія залучила $363 млн.

Голова правління Blackrock NeurotechФлоріан Зольцбахер заявив, що хоче вивести на ринок систему ІМК упродовж року. У листопаді 2021 року Управління санітарного нагляду за якістю харчових продуктів та медикаментів США (FDA), яке регулює медичне обладнання, запустило прискорений процес перевірки продуктів компанії, щоб полегшити їх виведення на ринок. Можливо, їхній інтерфейс стане першим масовим продуктом у цій галузі.

Що далі?

Експерти наголошують, що розробникамкомерційних пристроїв ІМК доведеться працювати без будь-якого експертного нагляду протягом місяців чи навіть років. Ще важливо переконатись, що інтерфейс однаково добре функціонує у кожного користувача.

Також вони зазначили, що досягнення у галузі машинного навчання допоможуть вирішити першу проблему. Але досягти універсальної ефективності незалежно від користувача - це завдання складніше.

Крім цього, фахівці з етики наголошують,що користувачі повинні зберігати повний контроль за даними з пристроїв. Сучасні технології не можуть розшифровувати особисті думки людей, проте розробники матимуть дані про всі діалоги користувача, а також важливі дані про здоров'я їхнього мозку. Зазначається, що ІМК – це новий тип ризику для кібербезпеки.

Читати далі:

За нею полювали століттями: що нам відомо про планету Вулкан поруч із Сонцем

Фізики експериментально підтвердили новий фундаментальний закон для рідин

Астрономи знайшли джерело загадкових радіосплесків, що йдуть з космосу