ІІ зміг перевести мозкові сигнали в пропозиції майже без помилок

Джозеф Макін з Каліфорнійського університету і його колеги використовували алгоритми глибокого навчання для

вивчення мозкових сигналів чотирьох пацієнток. Всі вони страждали на епілепсію, тому до них вже прикріпили мозкові електроди, які передавали дані про судоми.

Кожну жінку попросили прочитати вголос набірпропозицій, в той же час команда фіксувала активність їхнього мозку. Найбільша група пропозицій містила 250 унікальних слів. Команда подавала цю мозкову активність в алгоритм нейронної мережі, навчаючи її виявляти регулярно виникають закономірності, які можуть бути пов'язані з повторюваними аспектами мови - наприклад, поєднанням голосних і приголосних букв. Потім ці патерни подавалися в другу нейронну мережу, яка намагалася перетворити їх в слова, щоб сформувати пропозиції.

Кожен раз, коли людина говорить одне і те жпропозиція, мозкова діяльність буде схожа, але не ідентична, пояснили дослідники. «Запам'ятовування мозкової активності людини під час читання пропозицій не допоможе, тому алгоритм замість цього повинен зрозуміти, що схожого в патернах і узагальнити ці дані», - зазначає Макін.

ІІ допоможе медикам прогнозувати зростання хворих COVID-19 і розподіляти на них ресурси

Під час тестів найкращі результати ІІ містилив собі лише 3% помилок. Дослідники впевнені, що алгоритму допомогло те, що пацієнтки зачитували прості речення з невеликою кількістю унікальних слів. Але в деяких випадках ІІ зміг розібрати і відрізнити схожі за звучанням слова тільки по мозкової активності (наприклад, cлова Tina і Turner).

Команда спробувала декодувати дані мозковихсигналів відразу в окремі пропозиції. Але коефіцієнт помилок відразу виріс до 38%. Дослідники відзначають, що поки ІІ не може швидко впоратися з цим завданням. «Зазвичай люди знають і використовують до 350 тис. Слів, але алгоритм не може їх все розшифрувати. Розвивати його можливості буде неймовірно важко », - відзначають вчені.