Deniss Kuļešovs- Sensor-Tech laboratorijas direktors.
Aleksandrs Popovs- galvenais dizainers
Andrejs Demčinskis- Medicīnas projektu vadītājs uzņēmumā Sensor-Tech.
Neirotehnoloģijas, kas atceļ ierobežojumus
Vīrietis iet pa ielu.Vienā rokā viņam ir baltais spieķis, ar kuru viņš jūt ceļu. Otrā ir mazs melns objekts, kas izskatās pēc videokameras. Vīrietis to virza vispirms sev priekšā, tad uz sāniem. Garāmgājēji nezina, ka šajā brīdī klausulē dzird pamudinājumus: “Auto, attālums - 5 metri. Vīrietis, attālums - 3 metri."
MFC ierodas cits cilvēks."Sveiki," operatore saka smaidot, un šis vārds parādās ekrānā ar skatu uz apmeklētāju. Vīrietis pasmaida un sāk rakstīt uz tastatūras problēmu, ko operatore nolasīs datora monitorā. Starpnieks starp vājdzirdīgajiem un ārpasauli ir neliela ierīce, kas runu pārvērš tekstā.
Abas ierīces tiek izstrādātas un ražotas uzņēmumā"Sensoru tehnoloģija". Tās direktors Deniss Kuļešovs sāka sadarboties ar invalīdu organizācijām, vēl būdams institūtā: viņš palīdzēja veikt pētījumus. Pamazām Deniss saprata, ka vēlas strādāt šajā virzienā un attīstīties cilvēkiem ar invaliditāti. Tāpēc, kad 2014. gadā viņam tika piedāvāts pievienoties jaunā So-Unification fonda zinātniskajai izpētei, viņš nekavējoties piekrita.
Tika nodibināts Nedzirdīgo-neredzīgo atbalsta fonds "Tā-Vienotība".2014. gada aprīlī. Nodarbojas ar nedzirdīgo aklo socializāciju: atver reģionālos atbalsta centrus, rada iespējas nodarbinātībai, atpūtai un radošai pašrealizācijai; sniedz juridisku, psiholoģisku un mērķtiecīgu palīdzību.
Fondā ir uzkrājušies dažādi projekti, t.skjaunatnes un zinātnes, kas saistītas ar nedzirdīgo akluma jautājumiem, kurā piedalījās Deniss. "Kādā brīdī tika nolemts, ka daudz efektīvāk un pareizāk būtu to attīstīt atsevišķas laboratorijas formātā, kas specializēti nodarbojas ar šiem jautājumiem," atceras Kuļešovs.
Sadzīves tehnikas nianses
2017. gadā parādījās Sensor-Tech laboratorija,kuru dibināja So-Unification Foundation. Nekavējoties tika uzsākts darbs pie gadžetu izveides vājdzirdīgajiem un neredzīgajiem. Tam tika piešķirta Zinātniskās un tehnoloģiskās iniciatīvas dotācija Neuronet ceļveža ietvaros.
Granta saņemšanas nosacījums bija projekta līdzfinansējums: 70% piešķīra NTI, pārējā nauda bija jāatrod pašiem izstrādātājiem. Trūkstošos 30% nodrošināja So-Unification Foundation.
Laboratorijas darbs bija jāveido no nulles:izveidoja projektēšanas biroju un izmēģinājuma rūpnīcu, kur tika montēti ierīču prototipi. Pirmā problēma, ar ko saskaras izstrādātāji, ir pieredzes trūkums sadzīves tehnikas izveidē. Viņu iepriekšējā pieredze instrumentācijā galvenokārt bija saistīta ar aizsardzības nozari.
Izrādījās pirmais neredzīgo ierīces prototipspārāk apgrūtinoša un neērta lietošanai. Saņemot atsauksmes no lietotājiem, izstrādātāji to ir nopietni pārveidojuši. Bija nepieciešams, lai ierīce darbotos bez pārtraukumiem, būtu ērta un saprotama lietošanā.
Tagad laboratorija ir izstrādājusi ierīci neredzīgajiem un vājredzīgajiem - "Robin" un ierīci cilvēkiem ar dzirdes traucējumiem - "Čārlijs".
“Ierīču tirgus cilvēkiem ar invaliditāti nav ļoti liels,visa ražošana ir maza mēroga un dārga, ”saka Deniss. Tas ir iemesls diezgan augstajai ierīču cenai: "Robin" maksā 150 tūkstošus rubļu, "Charlie" - 195 tūkstošus rubļu. Tāpēc ražotāji risina sarunas ar valdību, lai viņu izgudrojumi tiktu iekļauti tehniskās sanācijas līdzekļu sarakstā - šajā gadījumā valdība kompensēs iegādes izmaksas.
Pastāsti man, ko tu redzi
Ārēji "Robins" atgādina portatīvo kameru.Sensori skenē objektus, un mākslīgais intelekts nosaka, kas atrodas lietotāja priekšā – automašīna, galds, dators vai cita persona. Kopumā ierīces atmiņā ir vairāk nekā 50 objekti. Ja augšupielādējat tur fotoattēlus, tas atpazīst personu un pasaka viņa vārdu. Lai izmantotu "Robinu" tumsā, tajā tika iebūvēts lukturītis. Šajā gadījumā sīkrīks ne tikai piešķir objekta nosaukumu, bet arī novērtē attālumu līdz tam.
"Robin" pirmais izlaidums bija neveiksmīgs.Lai ierīce noteiktu objektu, bija nepieciešams norādīt ierīci, nospiest pogu un pagaidīt vismaz 2 sekundes. Bet izrādījās, ka lietotājiem tas bija neērti: uzreiz pēc pogas nospiešanas viņi sāka vadīt ierīci no vienas puses uz otru. Šī iemesla dēļ "Robina" paustā informācija izrādījās nebūtiska: viņš aprakstīja objektus, kurus atpazina pirms viņa pārvietošanas.
“Mēs zinājām, kā ierīcei palīdzēt un kurtieši, un cilvēkiem nebija tādas pieredzes. Šī iemesla dēļ viņiem šķita, ka ierīce nedarbojas labi, ”skaidro Aleksandrs. Tad izstrādātāji nolēma mainīt darba principu. Atsauksmes laiks no ierīces tika samazināts līdz sekundei, savukārt "Robin" darbojās tikai tad, kad tika nospiesta poga. Šī opcija lietotājiem izrādījās skaidrāka un vienkāršāka.
“Tirgū nav tiešu konkurentu, tas ir, ierīču ar vienādām funkcijām. Bet ir arī analogi, piemēram, OrCam, ”saka Aleksandrs.
OrCam MyEye un OrCam MyReader- pārnēsājamas mākslīgās redzes ierīces,kuras ražo Izraēlas uzņēmums ar tādu pašu nosaukumu. Tās ir nelielas bezvadu kameras, kuras var piestiprināt pie briļļu kājiņa. Pirmā ierīce nolasa drukātu un digitālu tekstu, produktu svītrkodus, atpazīst sejas un izrunā saņemto informāciju. Otro izmanto tikai tekstu lasīšanai. Sīkrīki atbalsta 17 valodas, un tiem nav nepieciešams interneta savienojums.
Balss pārvēršas par tekstu
"Čārlijs" ir paredzēts cilvēkiem ar problēmām ardzirde. Tās izstrādē piedalījās cilvēki ar pieredzi vājdzirdīgo apmācībā. Tāpēc izstrādātāji apzinājās grūtības, kas rodas komunikācijas procesā, un abu pušu lūgumus.
Ierīce uztver runu 2 m attālumā unparāda to ekrānā kā tekstu. Sīkrīku var izmantot arī nedzirdīgi neredzīgie - šim nolūkam ar "Čārliju" ir pievienots Braila displejs. Tas ļauj lasīt informāciju ar pirkstiem un ievadīt atbildi.
Braila raksts tika izstrādāts 1824. gadā.Tā ir izliektu punktu un tukšumu sistēma starp tiem. Katra rakstzīme ir kodēta, izmantojot 3x2 režģi. Punktu kombinācija katrā šūnā atbilst burtam vai pieturzīmei. Ja teksts maina rakstību, piemēram, no latīņu valodas uz kirilicu, to norāda arī īpašs simbols.
Izstrādātāji saka, ka "Charlie" analogi irtirgus arī nav. Daudzas programmas, kas pārvērš runu tekstā, galvenokārt ir paredzētas cilvēka un datora mijiedarbībai, nevis divu cilvēku savstarpējai saziņai.
Pirmā iekārta, kas spēj atpazīt balsiparādījās 50. gados Bell Labs sienās. Ierīce noteica skaitļus no nulles līdz deviņiem. Tajā pašā laikā iekārta daudz labāk saprata izgudrotāju: kad viņš runāja, reproducēšanas precizitāte bija aptuveni 90%. Ierīce pareizi atpazina citu cilvēku runu tikai 70–80% gadījumu.
Līdz 90. gadiem runas atpazīšanas pamatā bijaveidnes: skaņas viļņi tika pārvērsti skaitļu kopā, un rezultāts tika parādīts, kad runa atbilda paraugam. Tāpēc, lai pareizi interpretētu balss signālus, bija nepieciešams novērst fona troksni, runāt lēni un skaidri.
Pirmais runas atpazīšanas līdzeklis, kuram nebija vajadzīgas pauzes starp vārdiem, bija Dragon's NaturallySpeaking. Tas parādījās 1997. gadā un tiek izmantots joprojām.
Mašīnmācība un AI tehnoloģijas ievērojamipilnveidoja runas atpazīšanas sistēmu un ļāva pielāgot algoritmus katra cilvēka individuālajam komunikācijas veidam. Rezultāts bija balss palīgu parādīšanās: Google palīgs, Siri no Apple, Alexa no Amazon, "Alice" no Yandex. Turklāt ir īpašas lietojumprogrammas, piemēram, ListNote, SpeechNotes, runas atpazīšanai, balss tulkošanai īsziņā. Dažas lietojumprogrammas, piemēram, Speechlogger, var pat veikt sinhrono tulkošanu no vienas valodas uz citu.
Ar "Čārlija" palīdzību sarunu biedri varēs sazinātiessavā starpā, neizmantojot starpnieku. Turklāt ierīci var izmantot attālinātai saziņai, piemēram, lekcijām augstskolās vai sanāksmju rīkošanai. Raidījuma vadītājam pietiek ar "Čārliju" nolikt blakus, bet klausītājiem - pieslēgties raidījumam ar saiti. Atšifrētā runa reāllaikā tiks parādīta viedtālruņa vai datora ekrānā.
Redzēt pasauli vēlreiz
Tāpat "Sensor-Tech" piedalās zinātniskos pētījumos, kas saistīti ar neirotehnoloģiju izmantošanu redzes atgriešanai.
Viss sākās 2016. gadā starptautiskajā pasākumākonferencēs ASV. Tur So-Unification Foundation pārstāvji tikās ar amerikāņu uzņēmumu, kas nodarbojas ar bionisko redzi. Viņi vienojās Krievijā veikt eksperimentu bionisko mikroshēmu implantēšanai neredzīgiem cilvēkiem.
“Ierīce var nebūt piemērota visiemneredzīgo, tas ir diezgan šaurs slimību kopums, galvenokārt pigmentozais retinīts. Īpatnība ir tāda, ka ar to mirst tikai viens šūnu slānis, kas pārvērš gaismu elektriskajā signālā. Pārējās šūnas paliek dzīvas, ”skaidro Deniss.
Pigmentozais retinīts- iedzimta slimība, kas saistīta arX hromosoma. Ar šo patoloģiju pakāpeniski tiek iznīcinātas tīklenes šūnas, kas savāc attēlus un pārraida tos pa redzes nervu uz smadzenēm. Slimība sākas ar sānu un nakts redzes zudumu un galu galā izraisa pilnīgu aklumu. Nav efektīvu profilakses pasākumu pret pigmentozo retinītu, kā arī nav ārstēšanas metožu. Mikročipu implantācija joprojām ir izstrādes stadijā, un ārsti arī norāda, ka gēnu terapija un cilmes šūnu ārstēšana varētu kļūt par izrāvienu.
Rezultātā So-Unification un mākslas, zinātnes un sporta fondu datubāzēs atrada divus cilvēkus ar pareizo diagnozi, kurinebija vienlaicīgu patoloģiju. 2017. gadā implanti tika uzstādīti Grigorijam Uļjanovam un Antoņinai Zaharčenko. Līdzekļus operācijai piešķīra Ališera Usmanova fonds.
Ališera Usmanova fonds "Māksla, zinātne un sports"dibināta 2006. gadā. Finansē izglītības un zinātniskos projektus (sadarbojas ar MGIMO, MISiS), atbalsta muzejus un teātrus (Sovremennik, Tretjakova galerija, Igora Moisejeva ansamblis un citi). Tāpat fonds popularizē veselīgu dzīvesveidu un rīko sacensības, tostarp cilvēkiem ar invaliditāti.
Operācijas laikā pacientam tiek novietota tīkleneimplants ar elektrodiem. Tas ir saistīts ar īpašām brillēm ar iebūvētu kameru. Informācija no kameras tiek pārsūtīta uz mikrodatoru, kas apstrādā attēlu un nosūta signālus implantam. Elektriskie impulsi tiek pārraidīti pa redzes nervu uz smadzenēm, kur veidojas attēls.
Implantam ir 60 elektrodi, kurus var salīdzināt ar60 pikseļu attēlu - atbilstoši implanta stimulēto punktu skaitam. Ar tās palīdzību var iegūt priekšstatu tikai par pietiekami lieliem objektiem – logiem, durvīm, galdiem, automašīnām. Mazāki objekti var izkrist no "matricas", ko veido elektrodi, vai arī dati nav pietiekami, lai tos identificētu.
Tā kā pacientam nav šūnu, kas atbild parkrāsu atveide, attēls ir melnbalts. Bet, salīdzinot ar pilnīgu aklumu, pat tik ierobežota redze no vesela cilvēka viedokļa ievērojami paplašina pacientu iespējas. Viņi var pārvietoties kosmosā pat nepazīstamos apstākļos bez ārējas palīdzības vai papildu ierīcēm un kļūt diezgan neatkarīgi.
Sensor-Tech cerēja, ka operācija ļausreģistrēt implantus Krievijā un padarīt tos pieejamus augsto tehnoloģiju medicīniskās aprūpes ietvaros. Taču radās problēma: Veselības ministrija uzskatīja, ka ar divām operācijām ir par maz, lai izdarītu secinājumu par implantu drošību. Amerikāņi savukārt atteicās veikt turpmākus eksperimentus, jo nebija garantijas, ka šī metode galu galā tiks apstiprināta.
“Acu implantu ziņā stāsts ir beidzies.Bet tas ir pat labi, jo tam ir turpinājums kortikālo implantu veidā, kurus ievieto smadzenēs. Tieši tur notiek informācijas vizuālā apstrāde. Mikroshēmas var izmantot jebkura veida aklumam, atšķirībā no acu slimībām. Šis ir vairāk augsto tehnoloģiju risinājums, ”saka Deniss.
Jau 2021. gadā uzņēmums prezentēja pirmoattīstība jaunā virzienā. Šis ir pirmais ELVIS neiroimplants smadzenēm Krievijā; tas palīdz atjaunot redzi neredzīgiem un nedzirdīgiem cilvēkiem. Ierīcei ir smadzenēs ievietots implants, galvā nēsājama stīpa ar divām kamerām – tās pārņem acu funkciju un mikrodators, kas analizē attēlu un pārraida to uz smadzenēm. Tehnoloģija ļauj atšķirt objektu, cilvēku siluetus un izprast objektu atrašanās vietu.
Kamēr sistēma tiek testēta uz grauzējiem, sekos testi ar pērtiķiem. 2024. gadā 10 neredzīgie brīvprātīgie plāno uzstādīt kortikālo implantu.
Kortikālie vizuālie implantiuzstādīts smadzeņu garozā.Tie stimulē redzes apgabalus, kā rezultātā rodas vizuālas sajūtas. Pēc ekspertu domām, tas ļaus mainīt attēlu spilgtumu un nodrošināt krāsu atveidi, kas nav iespējams, izmantojot bioniskos implantus. Pirmās kortikālo implantu implantācijas operācijas tika veiktas pagājušā gadsimta 70. gados. Un 2018. gadā amerikāņu uzņēmums Second Sight publiski uzstādīja modernus neiroimplantus pirmajiem neredzīgajiem brīvprātīgajiem. Tehnoloģijai tiek veikti klīniskie izmēģinājumi.
Zinātniskie pētījumi un ārvalstu tirgi
Starp laboratorijas gadījumiem ir arī citiattīstību. Piemēram, kopā ar mobilo sakaru operatoru tika izstrādāta bezmaksas aplikācija mobilajiem telefoniem, lai palīdzētu neredzīgiem cilvēkiem noteikt banknošu nominālu. Tas ir pieejams operētājsistēmās iOS un Android.
Lai uzzinātu rēķina nominālvērtību, vienkārši pavērsiet pret to viedtālruņa kameru. AI identificēs banknoti un nosauks tai. Un, ja vienlaikus pavērsiet kameru uz vairākiem rēķiniem, ierīce nekavējoties aprēķinās to summu.
Ja aplikāciju izmanto persona arredzes un dzirdes invalīdi, kuri nedzird balsi, vekseļa nominālvērtību var atpazīt ar vibrācijas palīdzību – dažādām nominālvērtībām tiek nodrošināti savi režīmi.
Ja tālrunis nevar atpazīt rēķinu, varatuzņemiet attēlu un pievienojiet to datu bāzei, izmantojot funkciju "Palīdzība izstrādātājiem". Parasti nepieciešamība pēc tā rodas, izdodot jaunas vai retas piemiņas zīmes.
Papildus ierīču ražošanai Sensor-Technodarbojas ar zinātniskiem pētījumiem nedzirdīgo akluma jomā. "Mēs vēlamies, lai veseli cilvēki saprastu, kā tie, kuriem ir vājredzīga vai dzirde, uztver pasauli kopumā," saka Andrejs.
Skatiet šo ziņu Instagram
Tātad laboratorijā viņi izveidoja pārkāpumu simulatorusskats: VR simulators See My World un tā mobilā versija SMW Pro. "Interference" tiek uzklāta tiešajam attēlam vai statiskam attēlam. Rezultātā attēls tiek izkropļots atbilstoši konkrētajam vizuālajam defektam. Piemēram, tas kļūst izplūdis vai attēla centrā parādās melns plankums.
“Mēs simulējam simptomus, kā cilvēks ardažādi redzes traucējumi. Burtiski: kā skatīties ar cilvēka acīm, kam ir katarakta, tuvredzība, astigmatisms, glaukoma, ”saka Andrejs. Turklāt, izmantojot simulatoru, jūs varat izsekot slimības dinamikai laika gaitā. Tas palīdz ārstiem un studentiem labāk izpētīt klīnisko ainu, bet pacienta tuvākajiem radiniekiem - burtiski paskatīties uz pasauli viņa acīm.
“Lai attēls būtu pēc iespējas precīzāks,lai to izveidotu, tiek izmantota slimības klīniskā aina. Papildus noskaidrojam rezultātu ar pacientu, lai viņš varētu pārliecināties, vai tā redz, ja viņa redze vēl nav stipri traucēta,” skaidro Andrejs.
Tagad izstrādātāji vēlas reklamēt savusierīces Eiropas un ASV tirgos. Sīkrīkus plānots ievietot vietnē Amazon un papildus sasniegt valsts iestādes un sabiedriskās organizācijas, kas nodarbojas ar cilvēku ar invaliditāti problēmām. Deniss ir pārliecināts, ka lietišķo izstrādņu tirgus tikai augs. Un Sensor-Tech laboratorijas direktors redz savu misiju atvieglot cilvēku ar invaliditāti dzīvi, pateicoties tehnoloģijām.
Lasīt vairāk:
AI atrisināja bioloģisku problēmu, ar kuru zinātnieki cīnījās 50 gadus
Milisekunde 30 triljonu gadu vietā uzdevumam: Ķīna ieviesa jaunu kvantu datoru
Zinātnieki meklē cilvēkus, kuri nevar būt inficēti ar COVID-19. Pamatojoties uz viņu datiem, viņi izgatavos zāles