Denisas Kulešovas- Sensor-Tech laboratorijos direktorius.
Aleksandras Popovas- vyriausiasis dizaineris
Andrejus Demčinskis- Sensor-Tech medicinos projektų vadovas.
Neurotechnologijos, kurios pašalina apribojimus
Žmogus eina gatve.Vienoje rankoje jis turi baltą lazdelę, su kuria jis jaučia kelią. Kitame – mažas juodas objektas, panašus į vaizdo kamerą. Vyras nukreipia jį iš pradžių priešais save, paskui į šonus. Praeiviai nežino, kad šiuo metu ausinėje girdi raginimus: „Automobilis, atstumas - 5 metrai. Vyras, atstumas - 3 metrai.
Kitas žmogus ateina į MFC.„Sveiki“, – šypsodamasis sako operatorė, ir šis žodis pasirodo ekrane, nukreiptame į lankytoją. Vyriškis nusišypso atgal ir ima vesti problemą klaviatūra, kurią operatorė perskaitys kompiuterio monitoriuje. Tarpininkas tarp neprigirdinčiųjų ir išorinio pasaulio yra mažas prietaisas, paverčiantis kalbą tekstu.
Abu įrenginiai kuriami ir gaminami įmonėje„Jutiklis-Tech“. Jo direktorius Denisas Kulešovas dar būdamas institute pradėjo bendradarbiauti su neįgaliųjų organizacijomis: padėjo atlikti tyrimus. Pamažu Denisas suprato, kad nori dirbti šia kryptimi ir tobulėti žmonėms su negalia. Todėl kai 2014 metais jam buvo pasiūlyta prisijungti prie naujojo „So-Unification“ fondo mokslinių tyrimų, jis iškart sutiko.
Įkurtas Kurčneregių rėmimo fondas „So-Vienybė“.2014 metų balandžio mėnesį. Užsiima kurčneregių socializacija: atidaro regioninius paramos centrus, sukuria galimybes įsidarbinti, laisvalaikiui ir kūrybinei savirealizacijai; teikia teisinę, psichologinę ir tikslinę pagalbą.
Fonde sukaupta įvairių projektų, tarp jųjaunimo ir mokslo, susijusių su kurčiųjų aklumo problemomis, kuriose dalyvavo Denisas. „Kažkuriuo metu buvo nuspręsta, kad daug efektyviau ir teisingiau būtų tai plėtoti kaip atskirą laboratoriją, kuri specializuotai nagrinėja šiuos klausimus“, – prisimena Kuleshovas.
Buitinės technikos niuansai
2017 m. atsirado Sensor-Tech laboratorija,kurį įkūrė So-Unification Foundation. Nedelsiant imta kurti programėles silpnaklausiams ir akliesiems. Tam buvo skirta Mokslinės ir technologinės iniciatyvos dotacija pagal Neuronet veiksmų planą.
Sąlyga gauti dotaciją buvo bendras projekto finansavimas: 70% skyrė NTI, likusius pinigus turėjo rasti patys vystytojai. Trūkstamus 30% parūpino „So-Unification Foundation“.
Laboratorijos darbas turėjo būti kuriamas nuo nulio:suformuotas projektavimo biuras ir bandomoji gamykla, kurioje buvo surinkti prietaisų prototipai. Pirmoji problema, su kuria susiduria kūrėjai, yra buitinės technikos kūrimo patirties trūkumas. Ankstesnė jų patirtis instrumentų srityje daugiausia buvo susijusi su gynybos pramone.
Paaiškėjo, kad pirmasis akliesiems skirto prietaiso prototipaspernelyg sudėtingas ir nepatogus naudoti. Sulaukę vartotojų atsiliepimų, kūrėjai jį rimtai pakeitė. Reikėjo, kad įrenginys veiktų be trikdžių, būtų patogus ir suprantamas naudoti.
Dabar laboratorijoje sukurtas prietaisas akliesiems ir silpnaregiams – „Robin“ ir aparatas žmonėms su klausos negalia – „Charlie“.
„Neįgaliesiems skirtų prietaisų rinka nėra labai didelė,visa gamyba yra nedidelė ir brangi “, - sako Denisas. Tai yra gana didelės prietaisų kainos priežastis: "Robin" kainuoja 150 tūkstančių rublių, "Charlie" - 195 tūkst. Todėl gamintojai derasi su vyriausybe, kad jų išradimai būtų įtraukti į techninės reabilitacijos priemonių sąrašą – tokiu atveju valdžia kompensuos pirkimo išlaidas.
Pasakyk man, ką matai
Išoriškai „Robin“ primena nešiojamąjį fotoaparatą.Jutikliai nuskaito objektus, o dirbtinis intelektas nustato, kas yra priešais vartotoją – automobilis, stalas, kompiuteris ar kitas žmogus. Iš viso įrenginio atmintyje yra daugiau nei 50 objektų. Jei ten įkeliate nuotraukas, ji atpažįsta asmenį ir pasako jo vardą. Norint naudoti „Robiną“ tamsoje, jame buvo įmontuotas žibintuvėlis. Tokiu atveju programėlė ne tik įvardija objektą, bet ir įvertina atstumą iki jo.
Pirmasis „Robin“ leidimas buvo nesėkmingas.Kad prietaisas aptiktų objektą, reikėjo nukreipti įrenginį, paspausti mygtuką ir palaukti bent 2 sekundes. Tačiau paaiškėjo, kad tai buvo nepatogu vartotojams: iškart paspaudę mygtuką, jie pradėjo varyti įrenginį iš vienos pusės į kitą. Dėl šios priežasties „Robino“ išsakyta informacija pasirodė nesvarbi: jis aprašė objektus, kuriuos atpažino prieš jį pajudinant.
„Mes žinojome, kaip padėti įrenginiui ir kurtiesioginis, o žmonės tokios patirties neturėjo. Dėl šios priežasties jiems atrodė, kad įrenginys neveikia gerai “, - aiškina Aleksandras. Tada kūrėjai nusprendė pakeisti darbo principą. Įrenginio grįžtamojo ryšio laikas sutrumpėjo iki sekundės, o „Robin“ veikė tik paspaudus mygtuką. Ši parinktis vartotojams pasirodė aiškesnė ir paprastesnė.
„Tiesioginių konkurentų, tai yra tas pačias funkcijas atliekančių įrenginių, rinkoje nėra. Tačiau yra analogų, pavyzdžiui, „OrCam“, - sako Aleksandras.
OrCam MyEye ir OrCam MyReader- nešiojamieji dirbtinio matymo prietaisai,kuriuos gamina to paties pavadinimo Izraelio įmonė. Tai maža belaidė kamera, kurią galima pritvirtinti prie akinių kabliuko. Pirmasis įrenginys nuskaito spausdintą ir skaitmeninį tekstą, gaminių brūkšninius kodus, atpažįsta veidus ir ištaria gautą informaciją. Antrasis naudojamas tik tekstams skaityti. Programėlės palaiko 17 kalbų ir nereikalauja interneto ryšio.
Balsas virsta tekstu
„Čarlis“ skirtas žmonėms, turintiems problemų suklausos. Ją kuriant dalyvavo žmonės, turintys patirties mokant klausos negalią. Todėl kūrėjai žinojo apie bendravimo procese kylančius sunkumus ir abiejų pusių prašymus.
Prietaisas paima kalbą 2 m atstumu irrodo jį ekrane kaip tekstą. Programėlėje gali naudotis ir kurčneregiai – tam prie „Čarlio“ prijungtas Brailio rašto ekranas. Tai leidžia skaityti informaciją pirštais ir įvesti atsakymą.
Brailio raštas buvo sukurtas 1824 m.Tai išgaubtų taškų ir tuštumų tarp jų sistema. Kiekvienas simbolis yra užkoduotas naudojant 3x2 grotelę. Taškų derinys kiekviename langelyje atitinka raidę arba skyrybos ženklą. Jei tekstas keičia raštą, pavyzdžiui, iš lotynų kalbos į kirilicą, tai taip pat nurodo specialus simbolis.
Kūrėjai teigia, kad „Charlie“ analogai yra antrinka taip pat ne. Daugybė programų, kurios verčia kalbą į tekstą, pirmiausia skirtos žmogaus ir kompiuterio sąveikai, o ne dviejų žmonių tarpusavio bendravimui.
Pirmoji mašina, galinti atpažinti balsąpasirodė šeštajame dešimtmetyje „Bell Labs“ sienose. Prietaisas nustatė skaičius nuo nulio iki devynių. Tuo pačiu aparatas kur kas geriau suprato išradėją: jam kalbant, atkūrimo tikslumas siekė apie 90 proc. Prietaisas teisingai atpažino kitų žmonių kalbą tik 70–80% atvejų.
Iki 90-ųjų kalbos atpažinimas buvo pagrįstasšablonai: garso bangos buvo išverstos į skaičių rinkinį, o rezultatas buvo rodomas, kai kalba atitiko pavyzdį. Todėl norint teisingai interpretuoti balso signalus, reikėjo pašalinti foninį triukšmą, kalbėti lėtai ir aiškiai.
Pirmasis kalbos atpažinimo įrenginys, kuriam nereikėjo pauzės tarp žodžių, buvo „Dragon's NaturallySpeaking“. Jis pasirodė 1997 m. ir vis dar naudojamas šiandien.
Mašinų mokymasis ir dirbtinio intelekto technologijospatobulinta kalbos atpažinimo sistema ir atsirado galimybė pritaikyti algoritmus prie individualaus kiekvieno žmogaus bendravimo būdo. Rezultatas buvo balso asistentų atsiradimas: „Google Assistant“, „Siri“ iš „Apple“, „Alexa“ iš „Amazon“, „Alisa“ iš „Yandex“. Be to, yra specialių programų, pavyzdžiui, „ListNote“, „SpeechNotes“, skirtų kalbos atpažinimui, balso vertimui į tekstinį pranešimą. Kai kurios programos, pvz., Speechlogger, netgi gali atlikti sinchroninį vertimą iš vienos kalbos į kitą.
„Čarlio“ pagalba pašnekovai galės bendrautitarpusavyje nesikreipiant į tarpininką. Be to, įrenginys gali būti naudojamas nuotoliniam bendravimui, pavyzdžiui, paskaitoms universitetuose ar susirinkimams rengti. Pakanka laidų vedėjui šalia pasidėti „Čarlį“, o klausytojams – prisijungti prie programos per nuorodą. Iššifruota kalba realiu laiku bus rodoma išmaniojo telefono ar kompiuterio ekrane.
Pamatyk pasaulį dar kartą
Taip pat „Sensor-Tech“ dalyvauja moksliniuose tyrimuose, susijusiuose su neurotechnologijų panaudojimu regėjimui grąžinti.
Viskas prasidėjo 2016 metais tarptautinėje parodojekonferencijose JAV. Ten „So-Unification Foundation“ atstovai susitiko su amerikiečių įmone, užsiimančia bioninio regėjimo klausimais. Jie sutiko Rusijoje atlikti eksperimentą, skirtą akliesiems implantuoti bioninius lustus.
„Įrenginys gali būti pritaikytas ne visiemsaklųjų – tai gana siauras ligų, daugiausia pigmentinio retinito, grupė. Ypatumas tas, kad su juo miršta tik vienas ląstelių sluoksnis, kuris šviesą paverčia elektriniu signalu. Likusios ląstelės lieka gyvos “, - aiškina Denisas.
Pigmentinis retinitas- paveldima liga, susijusi suX chromosoma. Su šia patologija pamažu sunaikinamos tinklainės ląstelės, kurios renka vaizdus ir perduoda juos per regos nervą į smegenis. Liga prasideda nuo šono ir naktinio matymo praradimo ir galiausiai sukelia visišką aklumą. Nėra veiksmingų pigmentinio retinito profilaktikos priemonių, taip pat nėra gydymo metodų. Mikroschemų implantavimas vis dar kuriamas, o gydytojai taip pat teigia, kad genų terapija ir gydymas kamieninėmis ląstelėmis gali tapti proveržiu.
Dėl to So-Unifikacijos ir meno, mokslo ir sporto fondų duomenų bazėse rado du žmones su teisinga diagnoze, kuriegretutinių patologijų nebuvo. 2017 metais implantai buvo įdiegti Grigorijui Uljanovui ir Antoninai Zacharčenko. Lėšas operacijai skyrė Ališerio Usmanovo fondas.
Alisherio Usmanovo fondas „Menas, mokslas ir sportas“įkurta 2006 metais. Finansuoja edukacinius ir mokslinius projektus (bendradarbiauja su MGIMO, MISiS), remia muziejus ir teatrus (Sovremennik, Tretjakovo galerija, Igorio Moisejevo ansamblis ir kt.). Fondas taip pat propaguoja sveiką gyvenseną ir organizuoja konkursus, taip pat ir žmonėms su negalia.
Operacijos metu ligoniui dedama tinklainėimplantas su elektrodais. Tai siejama su specialiais akiniais su įmontuota kamera. Informacija iš kameros perduodama į mikrokompiuterį, kuris apdoroja vaizdą ir siunčia signalus į implantą. Elektriniai impulsai regos nervu perduodami į smegenis, kur susidaro vaizdas.
Implantas turi 60 elektrodų, su kuriais galima palyginti60 pikselių paveikslėlis – pagal implanto stimuliuojamų taškų skaičių. Jos pagalba galima susidaryti tik pakankamai didelių objektų – langų, durų, stalų, automobilių vaizdą. Mažesni objektai gali iškristi iš „matricos“, kurią sudaro elektrodai, arba nepakanka duomenų jiems identifikuoti.
Kadangi pacientas neturi ląstelių, atsakingų užspalvų perteikimas, vaizdas yra nespalvotas. Tačiau, palyginti su visišku aklumu, net toks ribotas regėjimas sveiko žmogaus požiūriu žymiai išplečia pacientų galimybes. Jie gali naršyti erdvėje net nepažįstamomis sąlygomis be pašalinės pagalbos ar papildomų prietaisų ir tapti gana nepriklausomi.
Sensor-Tech tikėjosi, kad operacija leisregistruoti implantus Rusijoje ir pateikti juos aukštųjų technologijų medicinos priežiūros sistemoje. Tačiau iškilo problema: Sveikatos apsaugos ministerija manė, kad dviejų operacijų neužtenka išvadai apie implantų saugumą padaryti. Amerikiečiai savo ruožtu atsisakė atlikti tolesnius eksperimentus, nes nebuvo jokios garantijos, kad šis metodas galiausiai bus patvirtintas.
„Kalbant apie akių implantus, istorija baigėsi.Bet tai netgi gerai, nes turi tęsinį žievės implantų pavidalu, kurie dedami į smegenis. Būtent ten vyksta vizualinis informacijos apdorojimas. Traškučiai gali būti naudojami bet kokiam aklumui, skirtingai nei akių. Tai labiau aukštųjų technologijų sprendimas “, - sako Denisas.
Jau 2021 metais įmonė pristatė pirmąjįplėtrą nauja kryptimi. Tai pirmasis ELVIS neuroimplantas Rusijoje, padedantis atkurti regėjimą akliesiems ir kurčneregiams. Prietaisas turi implantą, kuris montuojamas smegenyse, lankelį su dviem kameromis, kurias reikia nešioti ant galvos – jos perima akių funkciją bei vaizdą analizuojantį ir į smegenis perduodantį mikrokompiuterį. Technologija leidžia atskirti objektų, žmonių siluetus ir suprasti objektų vietą.
Kol sistema bus bandoma su graužikais, bus atliekami bandymai su beždžionėmis. 2024 metais 10 aklų savanorių planuoja įdiegti žievės implantą.
Žievės regėjimo implantaiįrengtas smegenų žievėje.Jie stimuliuoja regėjimo sritis, todėl atsiranda regėjimo pojūčiai. Pasak ekspertų, tai leis pakeisti vaizdų ryškumą ir užtikrinti spalvų perteikimą, o tai neįmanoma naudojant bioninius implantus. Pirmosios žievės implantų implantavimo operacijos buvo atliktos dar praėjusio amžiaus aštuntajame dešimtmetyje. O 2018 metais amerikiečių kompanija „Second Sight“ pirmiesiems akliesiems savanoriams viešai įdiegė modernius neuroimplantus. Technologija atlieka klinikinius tyrimus.
Moksliniai tyrimai ir užsienio rinkos
Tarp laboratorinių atvejų yra ir kitųplėtra. Pavyzdžiui, kartu su mobiliojo ryšio operatoriumi buvo sukurta nemokama aplikacija mobiliesiems telefonams, padedanti akliesiems nustatyti banknotų nominalą. Jis pasiekiamas „iOS“ ir „Android“.
Norėdami sužinoti vekselio nominalą, tiesiog nukreipkite į jį savo išmaniojo telefono kamerą. AI identifikuos banknotą ir pavadins jį. O jei fotoaparatą nukreipsite į kelias sąskaitas vienu metu, įrenginys iš karto apskaičiuos jų sumą.
Jei programa naudojasi asmuo, turintisregos ir klausos negalią turintiems, negirdintiems balso, kupiūros nominalą galima atpažinti naudojant vibraciją – skirtingiems nominalams numatyti savi režimai.
Jei telefonas neatpažįsta sąskaitos, galitenufotografuokite ir įtraukite į duomenų bazę per funkciją „Pagalba kūrėjams“. Dažniausiai to poreikis iškyla išleidžiant naujus ar retus atminimo raštelius.
Be prietaisų gamybos, Sensor-Techužsiima moksliniais tyrimais kurčiųjų aklumo srityje. „Norime, kad sveiki žmonės suprastų, kaip pasaulį apskritai suvokia tie, kurie turi silpnaregį ar klausą“, – sako Andrejus.
Peržiūrėkite šį įrašą Instagram
Taigi laboratorijoje jie sukūrė pažeidimų simuliatoriusvaizdas: VR simuliatorius „See My World“ ir jo mobilioji versija „SMW Pro“. „Trikdžiai“ uždedami ant tiesioginio vaizdo arba ant statinio vaizdo. Dėl to vaizdas iškraipomas pagal konkretų vizualinį defektą. Pavyzdžiui, jis tampa neryškus arba vaizdo centre atsiranda juoda dėmė.
„Imituojame simptomus, kaip žmogus suįvairūs regėjimo sutrikimai. Žodžiu: kaip pažvelgti žmogaus, turinčio kataraktą, trumparegystę, astigmatizmą, glaukomą, akimis“, – sako Andrejus. Be to, naudodamiesi treniruokliu galite atsekti ligos dinamiką laikui bėgant. Tai padeda gydytojams ir studentams geriau ištirti klinikinį vaizdą, o artimiems paciento giminaičiams – tiesiogine to žodžio prasme pažvelgti į pasaulį jo akimis.
„Kad vaizdas būtų kuo tikslesnis,jai sukurti naudojamas klinikinis ligos vaizdas. Be to, rezultatą paaiškiname su pacientu, kad jis galėtų patvirtinti, ar taip mato, jei jo regėjimas dar nėra labai sutrikęs“, – aiškina Andrejus.
Dabar kūrėjai nori reklamuoti savoįrenginių Europos ir JAV rinkose. Planuojama programėles patalpinti į „Amazon“, be to, pasiekti valdžios institucijas bei visuomenines organizacijas, sprendžiančias žmonių su negalia problemas. Denisas įsitikinęs, kad taikomųjų programų rinka tik augs. O laboratorijos „Sensor-Tech“ direktorius savo misiją mato technologijų dėka palengvinti žmonių su negalia gyvenimą.
Skaityti daugiau:
AI išsprendė biologinę problemą, su kuria mokslininkai kovojo 50 metų
Milisekundė vietoj 30 trilijonų metų užduočiai atlikti: Kinija pristatė naują kvantinį kompiuterį
Mokslininkai ieško žmonių, kurie negali būti užsikrėtę COVID-19. Remdamiesi savo duomenimis, jie pagamins vaistą