Денис Кулешов- Директор лабораторије Сенсор-Тецх.
Александар Попов- главни пројектант
Андреј Демчински- Руководилац медицинских пројеката у Сенсор-Тецх.
Неуротехнологије које уклањају ограничења
Човек иде улицом.У једној руци има бели штап којим опипа пут. У другом је мали црни предмет који личи на видео камеру. Човек га усмерава испред себе, па у страну. Пролазници не знају да у том тренутку чује наговештаје у слушалици: „Ауто, удаљеност је 5 метара. Човек, удаљеност - 3 метра.
Још једна особа долази у МФЦ.„Здраво“, каже оператер са осмехом, а ова реч се појављује на екрану окренутом према посетиоцу. Особа узвраћа осмех и почиње да куца проблем на тастатури, који ће оператер прочитати на монитору рачунара. Посредник између особа са оштећеним слухом и спољашњег света је мали уређај који претвара говор у текст.
Оба инструмента је дизајнирала и производила компанија"Сенсор-Тецх". Његов директор Денис Кулешов почео је да сарађује са организацијама за инвалиде док је још студирао на институту: помогао је у спровођењу истраживања. Постепено, Денис је схватио да жели да ради у овом правцу и да се бави развојем за особе са инвалидитетом. Стога, када му је 2014. године понуђено да се придружи научним истраживањима новог фонда „Цоннецтион“, одмах је пристао.
Основана је Фондација за подршку глувослепим „Веза”.у априлу 2014. Бави се социјализацијом глуво-слепих: отвара регионалне центре подршке, ствара могућности за запошљавање, разоноду и креативну самореализацију; пружа правну, психолошку и циљану помоћ.
Фондација је акумулирала различите пројекте, укључујућиомладинске и научне, везане за питања глувослепила, у којима је Денис учествовао. „У једном тренутку смо одлучили да би било много ефикасније и исправније да то развијемо у облику посебне лабораторије која се бави овим питањима на специјализован начин“, присећа се Кулешов.
Нијансе кућних апарата
2017. године појавила се лабораторија Сенсор-Тецх,чији је оснивач била фондација „Со-единение”. Одмах је почео рад на креирању геџета за особе са оштећеним слухом и слепе. За ово је додељен грант од Иницијативе за науку и технологију у оквиру Неуронет мапе пута.
Услов за добијање гранта било је суфинансирање пројекта: 70% је издвојио НТИ, програмери су морали сами да пронађу остатак новца. Недостајућих 30 одсто обезбедио је фонд Уније.
Рад лабораторије је морао да се изгради од нуле:формирао биро за пројектовање и пробну производњу, где су се склапали прототипови уређаја. Први проблем са којим су се суочили програмери био је недостатак искуства у креирању кућних апарата. Њихово претходно искуство у инжењерству инструмената углавном се односило на одбрамбену индустрију.
Испоставило се да је први прототип уређаја за слепепревише гломазан и незгодан за употребу. Добивши повратне информације од корисника, програмери су га озбиљно трансформисали. Било је неопходно да уређај ради без прекида, да буде згодан и разумљив у употреби.
Сада је лабораторија развила уређај за слепе и слабовиде - "Робин" и уређај за особе са оштећењем слуха - "Чарли".
„Тржиште уређаја за особе са инвалидитетом није велико,сва производња је мала и скупа“, каже Денис. Ово је разлог прилично високе цене уређаја: "Робин" кошта 150 хиљада рубаља, "Цхарлие" - 195 хиљада рубаља. Због тога произвођачи преговарају са владом да се њихови изуми уврсте на списак средстава техничке рехабилитације – у овом случају држава надокнађује трошкове набавке.
Реци шта видиш
Споља, "Робин" подсећа на преносиву камеру.Сензори скенирају објекте, а вештачка интелигенција утврђује да се корисник налази испред аутомобила, стола, рачунара или друге особе. Укупно, у меморији уређаја има више од 50 објеката. Ако тамо поставите фотографије, препознаће особу и назвати њено име. За коришћење „Робина” у мраку, у њега је уграђена батеријска лампа. Истовремено, гаџет не само да именује објекат, већ и процењује удаљеност до њега.
Прво издање "Робина" било је неуспешно.Да би уређај идентификовао објекат, било је потребно усмерити уређај, притиснути дугме и сачекати најмање 2 секунде. Али испоставило се да је то било незгодно за кориснике: одмах након притиска на дугме, почели су да возе уређај с једне на другу страну. Због тога су се информације које је изнео „Робин“ испоставило да су неважне: описао је предмете које је препознао пре него што је померен.
„Знали смо како да помогнемо уређају и где да помогнемодиректно, а људи нису имали такво искуство. Због тога им се чинило да уређај не ради добро “, објашњава Александар. Тада су програмери одлучили да промене принцип рада. Време повратне спреге са уређаја сведено је на секунду, док је „Робин” радио само када је дугме притиснуто. Испоставило се да је ова опција јаснија и лакша за кориснике.
„На тржишту нема директних конкурената, односно уређаја са истим функцијама. Али постоје аналози, на пример, ОрЦам“, каже Александар.
ОрЦам МиЕие и ОрЦам МиРеадер- преносиви апарати за вештачки вид,које производи истоимена израелска компанија. Они су мала бежична камера која се може причврстити на слепоочницу наочара. Први уређај чита штампани и дигитални текст, бар кодове производа, препознаје лица и изговара примљене информације. Други се користи само за читање текстова. Гаџети подржавају 17 језика и не захтевају интернет везу.
Глас се претвара у текст
"Чарли" је за особе са менталним проблемима.слух. Развили су га људи са искуством у настави за особе са оштећеним слухом. Стога су програмери били свесни потешкоћа које се јављају у процесу комуникације и захтева обе стране.
Уређај хвата говор на удаљености од 2 м иприказује га на екрану као текст. Гаџет могу да користе и глуво-слепи – за ово је Брајев екран повезан са Чарлијем. Омогућава вам да прстима прочитате информације и унесете одговор.
Брајево писмо је развијено 1824.Ово је систем конвексних тачака и празнина између њих. Сваки симбол је кодиран помоћу решетке 3к2. Комбинација тачака у свакој ћелији одговара слову или знаку интерпункције. Ако дође до промене писања у тексту, на пример, са латинице на ћирилицу, то је такође означено посебним знаком.
Програмери кажу да су аналози "Чарлија" натакође нема тржишта. Бројни програми који преводе говор у текст дизајнирани су првенствено за интеракцију човека и рачунара, а не за међусобну комуникацију две особе.
Прва машина способна за препознавање гласапојавио 50-их година у зидовима Белл Лабс-а. Уређај је одређивао бројеве од нула до девет. Истовремено, машина је много боље разумела проналазача: када је говорио, тачност репродукције је била око 90%. Говор других људи уређај је исправно препознао само у 70-80% случајева.
До 1990-их, препознавање говора се заснивало наобрасци: звучни таласи су преведени у скуп бројева, а резултат је приказан када је говор одговарао узорку. Због тога је за правилно тумачење гласовних сигнала било потребно елиминисати позадинску буку, говорити полако и јасно.
Први препознавач говора који није захтевао паузе између речи био је Драгон'с НатураллиСпеакинг. Појавио се 1997. године и данас је у употреби.
Машинско учење и АИ технологије су значајнеунапредио систем препознавања говора и омогућио прилагођавање алгоритама индивидуалном начину комуникације сваке особе. Резултат је била појава гласовних асистената: Гоогле Ассистант, Сири из Аппле-а, Алека из Амазона, Алице из Иандек-а. Поред тога, постоје посебне апликације, као што су ЛистНоте, СпеецхНотес, за препознавање говора, превођење гласа у текстуалну поруку. Неке апликације, као што је Спеецхлоггер, могу чак и да врше симултани превод са једног језика на други.
Уз помоћ "Чарлија" саговорници ће моћи да комуницирајумеђусобно без прибегавања посреднику. Поред тога, уређај се може користити за комуникацију на даљину, на пример, за предавања на универзитетима или састанке. Довољно је да говорник поред себе стави „Чарлија“, а да се слушаоци повежу на програм преко линка. Транскрибовани говор ће бити приказан на екрану паметног телефона или рачунара у реалном времену.
Видите свет поново
Сенсор-Тецх такође учествује у научним истраживањима о коришћењу неуротехнологија за обнављање вида.
Све је почело 2016. на међународномконференције у САД. На њему су се представници Фондације „Унификација“ упознали са америчком компанијом која се бави бионичком визијом. Сложили су се да спроведу експеримент у Русији за имплантацију бионичких чипова слепим људима.
Уређај можда није погодан за свеслепи, то је прилично узак скуп болести, углавном ретинитис пигментоса. Посебност је у томе што са њим умире само један слој ћелија, који претвара светлост у електрични сигнал. Остале ћелије остају живе“, објашњава Денис.
пигментозни ретинитис- наследна болест повезана саКс хромозом. Са овом патологијом, ћелије мрежњаче које сакупљају слике и преносе их дуж оптичког нерва до мозга постепено се уништавају. Болест почиње губитком бочног и ноћног вида и на крају доводи до потпуног слепила. Не постоје ефикасне превентивне мере против пигментног ретинитиса, као ни методе лечења. Имплантација микрочипова је још увек у развоју, а лекари такође сугеришу да би генска терапија и лечење матичним ћелијама могли да постану пробој.
Као резултат тога, у основама фондова „Веза” и „Уметност, наука и спорт” пронађене две особе са жељеном дијагнозом, које имајуније било коморбидитета. У 2017. уграђени су имплантати Григорију Уљанову и Антонини Захарченко. Средства за операцију издвојила је Фондација Алишер Усманов.
Фондација Алишер Усманов "Уметност, наука и спорт"основан 2006. године. Финансира образовне и научне пројекте (сарађује са МГИМО, МИСиС), подржава музеје и позоришта (Современик, Третјаковска галерија, Ансамбл Игора Моисејева и други). Фондација такође промовише здрав начин живота и организује такмичења, укључујући и особе са инвалидитетом.
Током операције мрежњаче пацијента јеимплантат са електродама. Повезује се са специјалним наочарима са уграђеном камером. Информације са камере се преносе на микрокомпјутер, који обрађује слику и шаље сигнале до имплантата. Електрични импулси се преносе дуж оптичког нерва до мозга, где се формира слика.
У имплантату се налази 60 електрода које се могу поредити саслика од 60 пиксела – према броју тачака стимулисаних имплантом. Са њим можете добити слику само прилично великих објеката - прозора, врата, столова, аутомобила. Мањи објекти могу испасти из „матрице” коју формирају електроде или нема довољно података за њихову идентификацију.
Пошто пацијент нема ћелије одговорне заприказ боја, слика је црно-бела. Али у поређењу са потпуним слепилом, чак и тако ограничени вид са становишта здраве особе значајно проширује могућности пацијената. Они могу да се крећу у свемиру чак иу непознатим условима без спољне помоћи или додатних уређаја и постану прилично независни.
Сенсор-Тецх се надао да ће операција дозволитирегистровати имплантате у Русији и учинити их доступним као део високотехнолошке медицинске неге. Али настао је проблем: Министарство здравља сматрало је да две операције нису довољне да се закључи да су имплантати безбедни. Американци су, заузврат, одбили да спроводе даље експерименте, јер није било гаранција да ће овај метод на крају бити одобрен.
„Што се тиче очних имплантата, прича је завршена.Али ово је чак и добро, јер има наставак у виду кортикалних имплантата који се постављају у мозак. Овде се одвија визуелна обрада. Чипс се може користити за било коју врсту слепила, за разлику од ока. Ово је више високотехнолошко решење“, каже Денис.
Већ 2021. године компанија је представила првиразвој у новом правцу. Ово је први неуроимплант мозга ЕЛВИС у Русији, помаже слепим и глуво-слепим особама да поврате вид. Апарат има имплантат који је уграђен у мозак, траку за главу са две камере које се морају носити на глави – преузимају функцију очију, и микрокомпјутер који анализира слику и преноси је у мозак. Технологија вам омогућава да разликујете силуете објеката, људи и разумете локацију објеката.
Док се систем тестира на глодарима, уследиће тестови на мајмунима. У 2024. години планирано је да се десеторици слепих волонтера угради кортикални имплантат.
Кортикални визуелни имплантатиинсталиран у можданој кори.Они стимулишу визуелне области, што резултира визуелним сензацијама. Према речима стручњака, ово ће омогућити да се промени осветљеност слика и обезбеди пресликавање боја, што је немогуће када се користе бионички импланти. Прве операције уградње кортикалних имплантата изведене су још 70-их година прошлог века. А 2018. године америчка компанија Сецонд Сигхт је првим слепим волонтерима јавно поставила модерне неуроимпланте. Технологија је у току клиничка испитивања.
Научно истраживање и прекоморска тржишта
Међу лабораторијским случајевима има и другихразвој. На пример, заједно са мобилним оператером развијена је бесплатна апликација за мобилне телефоне која помаже слепим особама да одреде апоен новчаница. Доступан је на иОС-у и Андроид-у.
Да бисте сазнали апоен новчанице, само усмерите камеру свог паметног телефона ка њој. АИ ће идентификовати новчаницу и именовати је. А ако усмерите камеру на неколико рачуна истовремено, уређај ће одмах израчунати њихов износ.
Ако апликацију користи особа саза особе са оштећеним видом и слухом, који не чују гласовну глуму, апоен новчанице се може препознати помоћу вибрације - различите апоене имају своје начине рада.
Ако телефон не може да препозна рачун, може битиснимите слику и додајте је у базу података преко функције „Помоћ програмерима“. Обично се потреба за овим јавља приликом издавања нових или ретких комеморативних новчаница.
Поред производње уређаја, Сенсор-Тецхбави се научним истраживањем у области глувослепила. „Желимо да разјаснимо здравим људима како они који имају оштећење вида или слуха генерално перципирају свет“, каже Андреи.
Погледајте ову објаву на Инстаграму
Дакле, у лабораторији су створени симулатори кршењавизија: ВР-симулатор Сее Ми Ворлд и његова мобилна верзија СМВ Про. „Бука“ се поставља на слику у реалном времену или статичну. Као резултат, слика је изобличена у складу са одређеним визуелним дефектом. На пример, постаје мутно или се у центру слике појављује црна тачка.
„Ми симулирамо симптоме како особа саразна оштећења вида. Буквално: како гледати кроз очи особе која има катаракту, миопију, астигматизам, глауком “, каже Андреј. Такође, користећи симулатор, можете пратити динамику болести током времена. То помаже лекарима и студентима да боље разумеју клиничку слику, а блиски рођаци пацијента - буквално гледају на свет његовим очима.
„Да би слика била што поузданија,за његово стварање користи се клиничка слика болести. Поред тога, пацијенту појашњавамо резултат како би он потврдио да ли тако види, ако му вид још није јако оштећен“, објашњава Андреј.
Сада програмери желе да промовишу својеуређаја на тржиштима Европе и САД. Планирано је да се геџети поставе на Амазон и, поред тога, оду у владине агенције и јавне организације које се баве проблемима инвалида. Денис је уверен да ће тржиште развоја апликација само расти. А директор лабораторије Сенсор-Тецх своју мисију види у томе да захваљујући технологији олакша живот особама са инвалидитетом.
Опширније:
АИ је решио биолошки проблем са којим се научници боре већ 50 година
Milisekunda umesto 30 triliona godina za zadatak: Kina predstavila novi kvantni računar
Naučnici traže ljude koji ne mogu biti zaraženi COVID-19. Na osnovu njihovih podataka napraviće lek