Денис Кулешов- Директор на лаборатория Sensor-Tech.
Александър Попов- главен дизайнер
Андрей Демчински- Ръководител медицински проекти в Сензор-Тех.
Невротехнологии, които премахват ограниченията
Един мъж върви по улицата.В едната си ръка има бял бастун, с който опипва пътя. В другата има малък черен обект, който прилича на видеокамера. Човекът го насочва първо пред себе си, след това отстрани. Минувачите не знаят, че в този момент в слушалката той чува подкани: „Кола, разстояние - 5 метра. Човек, разстояние - 3 метра."
Друг човек идва в МФЦ.„Здравей“, казва операторът с усмивка и тази дума се появява на екрана с лице към посетителя. Мъжът се усмихва и започва да пише проблема на клавиатурата, който операторът ще прочете на монитора на компютъра. Посредник между хората с увреден слух и външния свят е малко устройство, което преобразува речта в текст.
И двете устройства са разработени и произведени в компаниятаSensor-Tech. Неговият директор Денис Кулешов започва да си сътрудничи с организации за хора с увреждания още в института: помага при провеждането на изследвания. Постепенно Денис осъзна, че иска да работи в тази посока и да се развива за хора с увреждания. Затова, когато през 2014 г. му предложиха да се включи в научните изследвания на новата фондация So-Unification, той веднага се съгласи.
Създадена е Фондация за подкрепа на сляпо-глухите „Со-единство”.през април 2014г. Занимава се със социализацията на слепите глухи: открива регионални центрове за подкрепа, създава възможности за заетост, свободно време и творческа самореализация; предоставя правна, психологическа и целева помощ.
Фондът е натрупал различни проекти, в т.чмладежки и научни, свързани с проблемите на слепоглухата, в които участва Денис. „В един момент беше решено, че ще бъде много по-ефективно и по-правилно това да се разработи във формата на отделна лаборатория, която се занимава с тези въпроси по специализиран начин“, спомня си Кулешов.
Нюансите на домакинския уред
През 2017 г. се появи лабораторията Sensor-Tech,която е основана от фондация So-Unification. Веднага започна работата по създаването на джаджи за хора с увреден слух и слепи. За това е отпусната безвъзмездна помощ от Научно-технологичната инициатива в рамките на пътната карта на Neuronet.
Условието за получаване на безвъзмездната помощ беше съфинансирането на проекта: 70% бяха отпуснати от NTI, останалите пари трябваше да бъдат намерени от самите разработчици. Липсващите 30% са осигурени от фондация So-Unity.
Работата на лабораторията трябваше да бъде изградена от нулата:формира конструкторско бюро и пилотен завод, където се сглобяват прототипи на устройства. Първият проблем, пред който са изправени разработчиците, е липсата на опит в създаването на домакински уреди. Предишният им опит в приборостроенето е свързан главно с отбранителната индустрия.
Оказа се първият прототип на устройство за слепитвърде тромава и неудобна за използване. След като получиха обратна връзка от потребителите, разработчиците сериозно го трансформираха. Беше необходимо устройството да работи без прекъсвания, да бъде удобно и разбираемо за използване.
Сега лабораторията е разработила апарат за слепи и слабовидни – „Робин“ и уред за хора с увреден слух – „Чарли“.
„Пазарът на устройства за хора с увреждания не е много голям,цялото производство е дребномащабно и скъпо “, казва Денис. Това е причината за доста високата цена на устройствата: "Робин" струва 150 хиляди рубли, "Чарли" - 195 хиляди рубли. Затова производителите водят преговори с правителството за включване на техните изобретения в списъка на средствата за техническа рехабилитация - в този случай правителството ще компенсира разходите за покупка.
Кажи ми какво виждаш
Външно "Робин" прилича на преносим фотоапарат.Сензорите сканират обекти, а изкуственият интелект определя какво е пред потребителя - кола, маса, компютър, друг човек. В паметта на устройството има повече от 50 обекта. Ако качите снимки там, той разпознава човека и казва името му. За да използвате "Робин" в тъмното, в него беше вградено фенерче. В този случай притурката не само назовава обекта, но и оценява разстоянието до него.
Първото издание на "Robin" беше неуспешно.За да може устройството да открие обект, е необходимо да насочите устройството, да натиснете бутона и да изчакате поне 2 секунди. Но се оказа, че това е неудобно за потребителите: веднага след натискане на бутона те започнаха да карат устройството от едната до другата страна. Поради това информацията, изразена от "Робин", се оказа неуместна: той описваше предмети, които разпозна, преди да бъде преместен.
„Знаехме как да помогнем на устройството и къдедиректен, а хората не са имали такъв опит. Поради това им се струваше, че устройството не работи добре “, обяснява Александър. Тогава разработчиците решиха да променят принципа на работа. Времето за обратна връзка от устройството беше намалено до секунда, докато "Робин" работеше само при натискане на бутона. Тази опция се оказа по-ясна и лесна за потребителите.
„На пазара няма преки конкуренти, тоест устройства със същите функции. Но има аналози, например OrCam “, казва Александър.
OrCam MyEye и OrCam MyReader- преносими устройства за изкуствено зрение,които се произвеждат от едноименната израелска компания. Те представляват малка безжична камера, която може да се прикрепи към дупето на очилата. Първото устройство разчита печатен и цифров текст, продуктови баркодове, разпознава лица и изговаря получената информация. Вторият се използва само за четене на текстове. Джаджите поддържат 17 езика и не изискват интернет връзка.
Гласът се превръща в текст
"Чарли" е предназначен за хора с проблеми сизслушване. В разработването му участваха хора с опит в преподаването на хора с увреден слух. Поради това разработчиците бяха наясно с трудностите, които възникват в процеса на комуникация и исканията на двете страни.
Устройството улавя говор на разстояние 2 m иго показва на екрана като текст. Притурката може да се използва и от сляпоглухите - за това към "Чарли" е свързан брайлов дисплей. Позволява ви да четете информация с пръсти и да въвеждате отговор.
Брайлът е разработен през 1824 г.Това е система от изпъкнали точки и празнини между тях. Всеки знак е кодиран с помощта на решетка 3x2. Комбинацията от точки във всяка клетка съответства на буква или препинателен знак. Ако текстът промени скрипта, например от латиница на кирилица, това също се обозначава със специален символ.
Разработчиците казват, че аналозите на "Чарли" напазарът също не го прави. Множество програми, които превеждат речта в текст, са предназначени предимно за взаимодействие човек-компютър, а не за общуване на двама души помежду си.
Първата машина, способна на гласово разпознаванесе появява през 50-те години в стените на Bell Labs. Устройството определяше числа от нула до девет. В същото време машината разбираше изобретателя много по-добре: когато той говореше, точността на възпроизвеждане беше около 90%. Устройството разпознава правилно речта на други хора само в 70–80% от случаите.
До 90-те години разпознаването на говор се основава нашаблони: звуковите вълни бяха преведени в набор от числа и резултатът беше показан, когато речта съвпадне с извадката. Следователно, за правилното тълкуване на гласовите сигнали, е необходимо да се елиминира фоновият шум, да се говори бавно и ясно.
Първият разпознавател на реч, който не изискваше паузи между думите, беше NaturallySpeaking на Dragon. Появява се през 1997 г. и се използва и до днес.
Машинното обучение и технологиите AI значителноподобри системата за разпознаване на реч и направи възможно адаптирането на алгоритмите към индивидуалния начин на общуване на всеки човек. Резултатът беше появата на гласови асистенти: Google Assistant, Siri от Apple, Alexa от Amazon, „Алиса“ от Yandex. Освен това има специални приложения, например ListNote, SpeechNotes, за разпознаване на говор, превод на глас в текстово съобщение. Някои приложения, като Speechlogger, могат дори да извършват симултанен превод от един език на друг.
С помощта на "Чарли" събеседниците ще могат да общуватедин с друг, без да се прибягва до посредник. Освен това устройството може да се използва за отдалечена комуникация, например за лекции в университети или провеждане на срещи. Достатъчно е водещият да сложи "Чарли" до себе си, а слушателите - да се свържат с програмата чрез линка. Декодираната реч ще се показва на екрана на смартфон или компютър в реално време.
Вижте света отново
Също така "Сензор-Тех" участва в научни изследвания, свързани с използването на невротехнологии за връщане на зрението.
Всичко започна през 2016 г. на международенконференции в САЩ. Там представители на фондация So-Unification се срещнаха с американска компания, занимаваща се с бионична визия. Те се съгласиха да проведат експеримент в Русия за имплантиране на бионични чипове на слепи хора.
„Устройството може да не е приложимо за всичкина слепите, това е доста тесен набор от заболявания, главно пигментен ретинит. Особеността е, че при него умира само един слой клетки, който трансформира светлината в електрически сигнал. Останалите клетки остават живи “, обяснява Денис.
Пигментен ретинит- наследствено заболяване, свързано сХ хромозома. С тази патология клетките на ретината, които събират изображения и ги предават по оптичния нерв към мозъка, постепенно се унищожават. Заболяването започва със загуба на странично и нощно зрение и в крайна сметка води до пълна слепота. Няма ефективни превантивни мерки срещу пигментния ретинит, както и методи за лечение. Имплантирането на микрочипове все още е в процес на разработка и лекарите също предполагат, че генната терапия и лечението със стволови клетки могат да се превърнат в пробив.
В резултат на това в базите данни на фондовете „Съединение“ и „Изкуство, наука и спорт“. намери двама души с правилна диагноза, коитонямаше съпътстващи патологии. През 2017 г. имплантите бяха поставени на Григорий Улянов и Антонина Захарченко. Средствата за операцията са отпуснати от фондация Алишер Усманов.
Фондация Алишер Усманов "Изкуство, наука и спорт"основана през 2006 г. Финансира образователни и научни проекти (сътрудничи с МГИМО, МИСиС), подпомага музеи и театри (Съвременник, Третяковска галерия, ансамбъла на Игор Моисеев и др.). Фондацията също така популяризира здравословния начин на живот и организира състезания, включително за хора с увреждания.
По време на операцията се поставя ретината на пациентаимплант с електроди. Свързва се със специални очила с вградена камера. Информацията от камерата се предава на микрокомпютър, който обработва изображението и изпраща сигнали към импланта. Електрическите импулси се предават по зрителния нерв към мозъка, където се образува картина.
Имплантът има 60 електрода, които могат да се сравнят скартина от 60 пиксела - според броя на точките, стимулирани от импланта. С негова помощ можете да получите изображение само на достатъчно големи обекти - прозорци, врати, маси, автомобили. По-малки обекти могат да изпаднат от „матрицата“, образувана от електродите, или данните са недостатъчни за идентифицирането им.
Тъй като пациентът няма клетките, отговорни зацветопредаване, изображението е черно-бяло. Но в сравнение с пълната слепота, дори такова ограничено зрение от гледна точка на здрав човек значително разширява възможностите на пациентите. Те могат да се движат в пространството дори в непознати условия без външна помощ или допълнителни устройства и стават доста независими.
Sensor-Tech се надяваше, че операцията ще позволирегистрирайте импланти в Русия и ги предоставяйте в рамките на високотехнологични медицински грижи. Но възникна проблем: Министерството на здравеопазването смята, че две операции не са достатъчни, за да се направи заключение за безопасността на имплантите. Американците от своя страна отказаха да провеждат допълнителни експерименти, тъй като нямаше гаранция, че този метод в крайна сметка ще бъде одобрен.
„По отношение на очните импланти, историята приключи.Но това е дори добре, защото има продължение под формата на кортикални импланти, които се поставят в мозъка. Именно там се извършва визуалната обработка на информацията. Чипсът може да се използва за всякакъв вид слепота, за разлика от очните. Това е по-високотехнологично решение “, казва Денис.
Още през 2021 г. компанията представи първатаразвитие в нова посока. Това е първият невроимплант ELVIS за мозъка в Русия; помага за възстановяване на зрението на слепи и слепи хора. Устройството има имплант, който се монтира в мозъка, обръч с две камери, които да се носят на главата – те поемат функцията на очите и микрокомпютър, който анализира образа и го предава на мозъка. Технологията дава възможност да се разграничат силуетите на обекти, хора и да се разбере местоположението на обектите.
Докато системата се тества върху гризачи, ще последват тестове върху маймуни. През 2024 г. 10 слепи доброволци планират да инсталират кортикален имплант.
Кортикални зрителни имплантиинсталирани в кората на главния мозък.Те стимулират зрителните зони, което води до зрителни усещания. Според експерти това ще позволи да се промени яркостта на изображенията и да се осигури цветопредаване, което е невъзможно при използване на бионични импланти. Първите операции за имплантиране на кортикални импланти са извършени през 70-те години на миналия век. А през 2018 г. американската компания Second Sight публично инсталира съвременни невроимпланти на първите слепи доброволци. Технологията е в процес на клинични изпитания.
Научни изследвания и задгранични пазари
Сред лабораторните случаи има и другиразвитие. Например, съвместно с мобилен оператор беше разработено безплатно приложение за мобилни телефони, за да помогне на незрящи хора да определят номинала на банкнотите. Предлага се на iOS и Android.
За да разберете номинала на банкнота, просто насочете камерата на смартфона си към нея. AI ще идентифицира банкнотата и ще я нарече. И ако насочите камерата към няколко сметки едновременно, устройството веднага ще изчисли тяхната сума.
Ако приложението се използва от лице сс увреждания на зрението и слуха, които не могат да чуят гласовата игра, номиналът на банкнота може да бъде разпознат с помощта на вибрация - за различните номинали са предвидени свои собствени режими.
Ако телефонът не може да разпознае сметката, можетенаправете снимка и я добавете към базата данни чрез функцията "Помощ за разработчиците". Обикновено необходимостта от това възниква при издаване на нови или редки възпоменателни бележки.
В допълнение към производството на устройства, Sensor-Techсе занимават с научни изследвания в областта на слепоглухата. „Искаме да накараме здравите хора да разберат как хората с увредено зрение или слух възприемат света като цяло“, казва Андрей.
Вижте тази публикация в Instagram
И така, в лабораторията те създадоха симулатори на нарушенияизглед: VR симулатор See My World и неговата мобилна версия SMW Pro. "Интерференция" се наслагва върху живо изображение или върху статично изображение. В резултат на това картината се изкривява според конкретния визуален дефект. Например, става замъглено или в центъра на изображението се появява черно петно.
„Ние симулираме симптомите на това как човек сразлични зрителни увреждания. Буквално: как да погледнем през очите на човек, който има катаракта, миопия, астигматизъм, глаукома “, казва Андрей. Също така, използвайки симулатора, можете да проследите динамиката на заболяването във времето. Това помага на лекарите и студентите да изучават по-добре клиничната картина, а на близките на пациента – буквално да гледат на света през неговите очи.
„За да направим изображението възможно най-точно,за създаването му се използва клиничната картина на заболяването. Допълнително уточняваме резултата с пациента, за да може той да потвърди дали вижда така, ако зрението му все още не е сериозно увредено “, обяснява Андрей.
Сега разработчиците искат да популяризират своитеустройства на европейския и американския пазар. Предвижда се джаджите да бъдат пуснати в Amazon и освен това да достигнат до държавни органи и обществени организации, занимаващи се с проблемите на хората с увреждания. Денис е уверен, че пазарът на приложни разработки ще расте само. А директорът на лабораторията Sensor-Tech вижда своята мисия в улесняването на живота на хората с увреждания благодарение на технологиите.
Прочетете още:
AI реши биологичен проблем, с който учените се борят от 50 години
Милисекунда вместо 30 трилиона години за задача: Китай представи нов квантов компютър
Учените търсят хора, които не могат да бъдат заразени с COVID-19. Въз основа на техните данни те ще направят лекарство