Денис Кулішов- директор лабораторії "Сенсор-Тех".
Олександр Попов- головний конструктор
Андрій Демчинський- Керівник медичних проектів «Сенсор-Теха».
Нейротехнології, що знімають обмеження
По вулиці йде людина.В одній руці в нього біла тростина, якою він обмацує дорогу. В іншій – невеликий чорний предмет, схожий на відеокамеру. Людина спрямовує його то перед собою, то на всі боки. Перехожі не знають, що зараз у навушнику він чує підказки: «Автомобіль, відстань — 5 метрів. Людина, відстань – 3 метри».
Інша людина приходить до МФЦ."Здрастуйте", - з посмішкою говорить оператор, і це слово з'являється на екрані, зверненому до відвідувача. Людина усміхається у відповідь і починає вводити на клавіатурі проблему, яку оператор прочитає на моніторі комп'ютера. Посередник між слабким і навколишнім світом - невеликий пристрій, що перетворює мова в текст.
Обидва прилади розробляють та виробляють у компанії"Сенсор-Тех". Її директор Денис Кулешов розпочав співпрацювати з організаціями для інвалідів ще під час навчання в інституті: допомагав проводити дослідження. Поступово Денис зрозумів, що хоче працювати у цьому напрямі та займатися розробками для людей з обмеженими можливостями здоров'я. Тому коли йому у 2014 році запропонували приєднатися до наукових досліджень нового фонду «Сполука», одразу погодився.
Фонд підтримки сліпоглухих «Сполука» заснувалиу квітні 2014 року. Займається соціалізацією сліпоглухих: відкриває регіональні центри підтримки, створює можливості для працевлаштування, дозвілля та творчої самореалізації; надає юридичну, психологічну та адресну допомогу.
Фонд акумулював різні проекти, зокремамолодіжні та наукові, пов'язані з питаннями сліпоглухоти, у яких Денис брав участь. "У якийсь момент вирішили, що набагато ефективніше і правильніше буде розвивати це у форматі окремої лабораторії, яка профільно займається цими питаннями", - згадує Кулешов.
Нюанси побутового приладобудування
У 2017 році з'явилася лабораторія «Сенсор-Тех»,засновником якої став фонд «Сполука». Відразу почалася робота над створенням гаджетів для слабочуючих і незрячих. На це виділили грант Науково-технологічної ініціативи у рамках дорожньої карти «Нейронет».
Умовою отримання гранту було співфінансування проекту: 70% виділяв НТІ, решту грошей розробники мали знайти самі. Відсутні 30% надав фонд «Соединение».
Роботу лабораторії довелося вишиковувати з нуля:сформували конструкторське бюро та дослідне виробництво, де збирали прототипи приладів. Перша проблема, з якою зіткнулися розробники, – відсутність досвіду створення побутових приладів. Їхній попередній досвід у частині приладобудування в основному був пов'язаний з оборонною сферою.
Перший прототип пристрою для незрячих виявивсязанадто громіздким та незручним у використанні. Отримавши зворотний від користувачів, розробники його серйозно трансформували. Потрібно було зробити так, щоб пристрій працював без перебоїв, був зручним та зрозумілим у використанні.
Зараз у лабораторії розробили пристрій для незрячих і людей з вадами зору — «Робін» і прилад для людей з інвалідністю по слуху — «Чарлі».
«Ринок девайсів для інвалідів не дуже великий,все виробництво дрібносерійне та дороге», — каже Денис. Цим обумовлена досить висока вартість приладів: «Робін» коштує 150 тис. рублів, «Чарлі» - 195 тис. рублів. Тому виробники ведуть переговори з урядом, щоб їх винаходи включили до списку засобів технічної реабілітації – у цьому випадку витрати на покупку компенсує держава.
Скажи, що ти бачиш
Зовні "Робін" нагадує портативну камеру.Сенсори сканують предмети, а штучний інтелект визначає, що перед користувачем машина, стіл, комп'ютер, інша людина. Загалом у пам'яті пристрою понад 50 об'єктів. Якщо завантажити туди фотографії, воно дізнається про людину і назве її ім'я. Щоб «Робіном» користуватись у темний час доби, у нього вбудували ліхтарик. У цьому гаджет як називає предмет, а й оцінює відстань до нього.
Перший реліз «Робіна» виявився невдалим.Щоб прилад визначив об'єкт, потрібно було навести пристрій, натиснути кнопку і почекати щонайменше 2 секунд. Але виявилося, що користувачам це незручно: відразу після натискання кнопки вони починали керувати приладом з боку в бік. Через це інформація, озвучена «Робіном», була неактуальною: він описував об'єкти, які розпізнав до того, як його перемістили.
«Ми знали, як допомогти пристрою та куди йогонаправити, а люди такого досвіду був. Через це їм здавалося, що прилад погано працює», — пояснює Олександр. Тоді розробники вирішили змінити принцип роботи. Час зворотного зв'язку від приладу скоротився до секунди, при цьому "Робін" працював тільки тоді, коли була натиснута кнопка. Такий варіант для користувачів виявився зрозумілішим і простішим.
«Прямих конкурентів, тобто приладів із такими ж функціями, на ринку немає. Але є аналоги, наприклад OrCam», — каже Олександр.
OrCam MyEye та OrCam MyReader- Портативні пристрої штучного зору,які виробляє однойменна ізраїльська компанія. Є невеликою бездротовою камерою, яку можна кріпити на дужку окулярів. Перший пристрій зчитує друкований та цифровий текст, штрих-коди товарів, розпізнає обличчя та озвучує отриману інформацію. Друге використовується лише для читання текстів. Гаджети підтримують 17 мов та не вимагають підключення до інтернету.
Голос перетворюється на текст
«Чарлі» призначений для людей з проблемамислухом. У його розробці брали участь люди з досвідом викладання для тих, хто погано чує. Тому розробники знали про труднощі, які виникають у процесі комунікації та запити обох сторін.
Пристрій вловлює промову на відстані 2 м івиводить її на екран у вигляді тексту. Гаджетом можуть користуватися і сліпоглухі – для цього до «Чарлі» підключається екран Брайля. Він дозволяє прочитати інформацію пальцями та ввести відповідь.
Шрифт Брайля розроблено 1824 року.Це система опуклих точок та порожнеч між ними. Кожен символ кодується за допомогою ґрат 3х2. Комбінація точок всередині кожного осередку відповідає букві або розділовому знаку. Якщо в тексті відбувається зміна писемності, наприклад, з латини на кирилицю, це також позначається спеціальним символом.
Розробники кажуть, що аналогів «Чарлі» наринку також немає. Численні програми, які перекладають мова в текст, призначені переважно для взаємодії людини з комп'ютером, а не для спілкування двох людей між собою.
Перша машина, здатна розпізнавати голос,з'явилася у 50-х роках у стінах Bell Labs. Пристрій визначав цифри від нуля до дев'яти. При цьому машина набагато краще розуміла винахідника: коли він говорив, точність відтворення була близько 90%. Йдеться інших людей пристрій коректно розпізнавав лише 70–80% випадків.
До 90-х років розпізнавання мови будувалося нашаблони: звукові хвилі переводилися в набір чисел, і результат виводився при збігу мови із зразком. Тому для коректної інтерпретації голосових сигналів потрібно було усунути фонові шуми, говорити повільно та чітко.
Першим розпізнавачем мови, якому не були потрібні паузи між словами, став Dragon's NaturallySpeaking. Він з'явився у 1997 році і використовується досі.
Технології машинного навчання та ІІ значноудосконалили систему розпізнавання мови та дозволили адаптувати алгоритми під індивідуальну манеру спілкування кожної людини. Результатом стала поява голосових помічників: Google Assistant, Siri від Apple, Alexa від Amazon, "Аліса" від Яндекса. Крім того, є спеціальні програми, наприклад ListNote, SpeechNotes, для розпізнавання мови, перекладу голосу в текстове повідомлення. Деякі програми, наприклад Speechlogger, можуть навіть виконувати синхронний переклад з однієї мови на іншу.
За допомогою "Чарлі" співрозмовники зможуть спілкуватисяодин з одним, не вдаючись по допомогу посередника. Крім цього, пристрій можна використовувати для дистанційного спілкування, наприклад, для лекцій у вишах або проведення нарад. Доповідачеві достатньо покласти «Чарлі» поруч із собою, а слухачам – підключитися до програми посилання. Розшифрована мова виводитиметься на екран смартфона або комп'ютера в режимі реального часу.
Побачити світ наново
Також «Сенсор-Тех» бере участь у наукових дослідженнях щодо використання нейротехнологій для повернення зору.
Все почалося у 2016 році на міжнароднійконференції у США. На ній представники фонду «Сполука» познайомилися з американською компанією, що займається біонічним зором. Вони домовилися у тому, щоб провести у Росії експеримент із імплантації незрячим людям біонічних чіпів.
«Пристрій може бути застосовним не для всіхнезрячих, це досить вузький пул захворювань, переважно пігментний ретиніт. Особливість у тому, що при ньому гине лише один шар клітин, що трансформує світло на електричний сигнал. Інші клітини залишаються живими», — пояснює Денис.
Пігментний ретиніт- Спадкове захворювання, пов'язане зХ-хромосома. При цій патології поступово руйнуються клітини сітківки, що збирають зображення і передають його з зорового нерва в мозок. Захворювання починається зі втрати бічного та нічного зору і з часом призводить до повної сліпоти. Ефективних профілактичних заходів проти пігментного ретиніту немає, як і методів лікування. Імплантація мікрочіпів поки що знаходиться в стадії розробки, також лікарі припускають, що проривом можуть стати генна терапія та лікування стовбуровими клітинами.
В результаті в базах фондів «Сполука» та «Мистецтво, наука та спорт» знайшли двох людей із потрібним діагнозом, у якихбув супутніх патологій. У 2017 році імпланти встановили Григорію Ульянову та Антоніні Захарченко. Кошти на операцію виділив фонд Алішера Усманова.
Фонд Алішера Усманова «Мистецтво, наука та спорт»заснований у 2006 році. Фінансує освітні та наукові проекти (співпрацює з МДІМВ, МІСіС), підтримує музеї та театри («Сучасник», Третьяковська галерея, ансамбль Ігоря Моїсеєва та інші). Також фонд займається популяризацією здорового способу життя та організовує змагання, у тому числі для людей з обмеженими можливостями.
У ході операції на сітківці пацієнта розміщуєтьсяімплант із електродами. Він пов'язаний із спеціальними окулярами із вбудованою камерою. Інформація з камери передається на мікрокомп'ютер, який обробляє зображення та посилає сигнали в імплант. Електричні імпульси по зоровому нерву передаються у мозок, де формується картинка.
В імпланті 60 електродів, що можна порівняти зкартинкою в 60 пікселів - за кількістю точок, що стимулює імплант. З його допомогою можна отримати зображення лише досить великих об'єктів – вікна, двері, столу, автомобіля. Дрібніші предмети можуть випадати з «матриці», яку утворюють електроди, або даних виявляється недостатньо для їх ідентифікації.
Оскільки у пацієнта немає клітин, які відповідають закольору, зображення виходить чорно-білим. Але в порівнянні з повною сліпотою навіть такий обмежений з точки зору здорової людини зір суттєво розширює можливості пацієнтів. Вони можуть орієнтуватися у просторі навіть у незнайомих умовах без сторонньої допомоги чи додаткових пристроїв і стають досить самостійними.
У "Сенсор-Техі" сподівалися, що операція дозволитьзареєструвати імпланти у Росії зробити їх доступними у межах високотехнологічної медичної допомоги. Але виникла проблема: у Міністерстві охорони здоров'я визнали, що двох операцій недостатньо, щоб зробити висновок про безпеку імплантатів. Американці, у свою чергу, відмовилися проводити подальші експерименти, оскільки не було гарантії, що цей метод буде схвалений.
«У плані очних імплантів історія закінчилася.Але це навіть добре, тому що вона має продовження у вигляді кортикальних імплантатів, які ставляться у мозок. Саме там відбувається візуальне опрацювання інформації. Чіпи можна використовувати за будь-якого виду сліпоти, на відміну від очних. Це більш високотехнологічне рішення», – каже Денис.
Вже 2021 року компанія представила першурозробку у новому напрямку. Це перший у Росії нейроімплант для головного мозку ELVIS, він допомагає повернути зір незрячим і сліпоглухим людям. У пристрої є імплант, який встановлюють у головний мозок, обруч із двома камерами, який потрібно носити на голові – вони беруть на себе функцію очей та мікрокомп'ютер, що аналізує зображення та передає його в мозок. Технологія дозволяє розрізняти силуети предметів, людей та розуміти розташування об'єктів.
Поки систему випробовують на гризунах, потім пройдуть тести на мавпах. 2024 року кортикальний імплант планують встановити десяти незрячим добровольцям.
Кортикальні зорові імплантативстановлюють у кору головного мозку.Вони стимулюють зорові ділянки, завдяки чому з'являються зорові відчуття. На думку фахівців, це дозволить змінювати яскравість образів і забезпечити перенесення кольорів, що неможливо при використанні біонічних імплантів. Перші операції з імплантації кортикальних імплантів провели ще в 70-х роках минулого століття. А 2018-го американська компанія Second Sight публічно встановила сучасні нейроімпланти першим сліпим добровольцям. Технологія проходить стадію клінічних випробувань.
Наукові дослідження та закордонні ринки
Серед кейсів лабораторії є й іншірозробки. Наприклад, спільно з оператором стільникового зв'язку було розроблено безкоштовну програму для мобільних телефонів, що допомагає незрячим людям визначати номінал купюр. Воно доступне на iOS та Android.
Щоб дізнатися про номінал купюри, достатньо навести на неї камеру смартфона. ІІ визначить банкноту та назве її. А якщо навести камеру на кілька купюр одночасно, пристрій одразу порахує їхню суму.
Якщо додатком користується людина зінвалідністю по зору та слуху, який не може почути озвучку, гідність купюри можна дізнатися за допомогою вібрації – для різних номіналів передбачено власні режими.
Якщо телефон не може розпізнати купюру, її можнасфотографувати та додати до бази даних через функцію «Допомога розробникам». Зазвичай необхідність у цьому виникає під час випуску нових або рідкісних пам'ятних купюр.
Крім виробництва пристроїв, у «Сенсор-Техі»займаються науковими дослідженнями у сфері сліпоглухоти. «Ми хочемо дати зрозуміти здоровим людям, як взагалі сприймають світ ті, хто має зір чи слух», — каже Андрій.
View this post on Instagram
Так, у лабораторії створили симулятори порушеньзору: VR-симулятор See My World та його мобільну версію SMW Pro. На зображення реальному часі чи статичну картинку накладаються «перешкоди». В результаті картинка спотворюється відповідно до конкретного дефекту зору. Наприклад, стає розпливчастою або в центрі зображення з'являється чорна пляма.
«Ми симулюємо симптоми того, як бачить людина зрізними порушеннями зору. Буквально: як подивитися очима людини, яка має катаракту, короткозорість, астигматизм, глаукому», — розповідає Андрій. Також за допомогою симулятора можна простежити динаміку хвороби з часом. Лікарям і студентам це допомагає краще вивчити клінічну картину, а близьким родичам пацієнта — буквально поглянути на світ його очима.
«Щоб зображення було максимально достовірним,на його створення використовується клінічна картина хвороби. Додатково ми уточнюємо результат у пацієнта, щоб той підтвердив, чи він бачить, якщо його зір ще не сильно зіпсований», — пояснює Андрій.
Наразі розробники хочуть просувати своїпристрої на ринках Європи та США. Планується виставити гаджети на Amazon і, крім цього, вийти на державні органи та громадські організації, які займаються проблемами інвалідів. Денис упевнений, що ринок прикладних розробок лише зростатиме. А свою місію директор лабораторії «Сенсор-Тех» бачить у тому, щоб життя людей з обмеженими можливостями здоров'я стало легшим завдяки технологіям.
Читати далі:
ІІ вирішив біологічне завдання, над яким вчені билися 50 років.
Міллісекунда замість 30 трлн років на завдання: Китай представив новий квантовий комп'ютер
Вчені шукають людей, які можуть заразитися COVID-19. На основі їх даних зроблять ліки