Denis Kulešov- Riaditeľ laboratória Sensor-Tech.
Alexander Popov- hlavný dizajnér
Andrej Demčinskij- Vedúci medicínskych projektov v Sensor-Tech.
Neurotechnológie, ktoré odstraňujú obmedzenia
Po ulici kráča muž.V jednej ruke má bielu palicu, s ktorou cíti cestu. V druhej je malý čierny objekt, ktorý vyzerá ako videokamera. Muž to nasmeruje najskôr pred seba, potom do strán. Okoloidúci nevedia, že v tejto chvíli počuje v slúchadle výzvy: „Auto, vzdialenosť - 5 metrov. Muž, vzdialenosť - 3 metre."
Do MFC prichádza ďalšia osoba.„Dobrý deň,“ hovorí operátor s úsmevom a toto slovo sa objaví na obrazovke smerom k návštevníkovi. Muž sa usmeje a začne písať problém na klávesnici, ktorý operátor prečíta na monitore počítača. Sprostredkovateľom medzi nepočujúcimi a vonkajším svetom je malé zariadenie, ktoré premieňa reč na text.
Obe zariadenia sú vyvíjané a vyrábané vo firme"Sensor-Tech". Jeho riaditeľ Denis Kuleshov začal ešte v ústave spolupracovať s organizáciami pre zdravotne postihnutých: pomáhal pri výskume. Postupne si Denis uvedomil, že chce pracovať týmto smerom a rozvíjať sa pre ľudí s postihnutím. Preto, keď v roku 2014 dostal ponuku zapojiť sa do vedeckého výskumu novej nadácie So-Unification, okamžite súhlasil.
Vznikla Nadácia na podporu hluchoslepých „So-Jednota“.v apríli 2014. Zaoberá sa socializáciou hluchoslepých: otvára regionálne centrá podpory, vytvára príležitosti na zamestnanie, voľný čas a tvorivú sebarealizáciu; poskytuje právnu, psychologickú a cielenú pomoc.
Fond nahromadil rôzne projekty, naprmládežnícke a vedecké, súvisiace s problematikou hluchoslepoty, na ktorých sa Denis podieľal. "V určitom bode sa rozhodlo, že by bolo oveľa efektívnejšie a správnejšie vyvinúť to vo formáte samostatného laboratória, ktoré sa špecializovaným spôsobom zaoberá týmito problémami," spomína Kuleshov.
Nuansy domácich spotrebičov
V roku 2017 sa objavilo laboratórium Sensor-Tech,ktorý založila Nadácia So-Unification. Okamžite sa začalo pracovať na tvorbe gadgetov pre sluchovo postihnutých a nevidiacich. V rámci plánu Neuronet bol na to pridelený grant Vedecko-technologickej iniciatívy.
Podmienkou získania grantu bolo spolufinancovanie projektu: 70 % pridelila NTI, zvyšok peňazí si museli zohnať samotní developeri. Chýbajúcich 30 % poskytla Nadácia So-Unification.
Práca laboratória musela byť postavená od nuly:vytvorila konštrukčnú kanceláriu a pilotný závod, kde sa montovali prototypy zariadení. Prvým problémom, s ktorým sa vývojári stretávajú, je nedostatok skúseností s vytváraním domácich spotrebičov. Ich doterajšie skúsenosti s prístrojovou technikou súviseli najmä s obranným priemyslom.
Prvý prototyp zariadenia pre nevidiacich sa ukázal byťpríliš ťažkopádne a nepohodlné na použitie. Po získaní spätnej väzby od používateľov ju vývojári vážne zmenili. Bolo potrebné, aby zariadenie fungovalo bez prerušenia, bolo pohodlné a zrozumiteľné na používanie.
Teraz laboratórium vyvinulo prístroj pre nevidiacich a slabozrakých – „Robin“ a prístroj pre ľudí so sluchovým postihnutím – „Charlie“.
„Trh so zariadeniami pre ľudí so zdravotným postihnutím nie je príliš veľký,všetka výroba je malá a drahá, “hovorí Denis. To je dôvod pre pomerne vysokú cenu zariadení: "Robin" stojí 150 tisíc rubľov, "Charlie" - 195 tisíc rubľov. Výrobcovia preto rokujú s vládou o zaradení svojich vynálezov do zoznamu prostriedkov technickej sanácie – v tomto prípade vláda kompenzuje náklady na nákup.
Povedz mi, čo vidíš
Navonok „Robin“ pripomína prenosný fotoaparát.Senzory snímajú objekty a umelá inteligencia určuje, čo sa nachádza pred používateľom – auto, stôl, počítač alebo iná osoba. Celkovo je v pamäti zariadenia viac ako 50 objektov. Ak tam nahráte fotografie, rozpozná to osobu a povie jej meno. Na použitie „Robina“ v tme bola v ňom zabudovaná baterka. V tomto prípade gadget nielen pomenuje objekt, ale aj odhadne vzdialenosť k nemu.
Prvé vydanie "Robin" bolo neúspešné.Aby zariadenie detekovalo predmet, bolo potrebné nasmerovať zariadenie, stlačiť tlačidlo a počkať aspoň 2 sekundy. Ukázalo sa však, že to bolo pre používateľov nepohodlné: ihneď po stlačení tlačidla začali poháňať zariadenie zo strany na stranu. Z tohto dôvodu sa informácie vyjadrené „Robinom“ ukázali ako irelevantné: opisoval predmety, ktoré rozpoznal predtým, ako sa pohol.
„Vedeli sme, ako zariadeniu pomôcť a kdepriame, a ľudia nemali takú skúsenosť. Z tohto dôvodu sa im zdalo, že zariadenie nefunguje dobre, “vysvetľuje Alexander. Potom sa vývojári rozhodli zmeniť princíp práce. Čas spätnej väzby zo zariadenia sa skrátil na sekundu, zatiaľ čo „Robin“ fungoval iba po stlačení tlačidla. Táto možnosť sa ukázala byť pre používateľov prehľadnejšia a jednoduchšia.
„Na trhu nie sú žiadni priami konkurenti, teda zariadenia s rovnakými funkciami. Existujú však analógy, napríklad OrCam, “hovorí Alexander.
OrCam MyEye a OrCam MyReader- prenosné zariadenia na umelé videnie,ktoré vyrába rovnomenná izraelská spoločnosť. Ide o malú bezdrôtovú kameru, ktorá sa dá pripevniť na ramienko okuliarov. Prvé zariadenie číta tlačený a digitálny text, čiarové kódy produktov, rozpoznáva tváre a hovorí prijaté informácie. Druhá slúži len na čítanie textov. Moduly gadget podporujú 17 jazykov a nevyžadujú pripojenie k internetu.
Hlas sa zmení na text
"Charlie" je určený pre ľudí s problémamisluchu. Na jej rozvoji sa podieľali ľudia so skúsenosťami s výučbou pre sluchovo postihnutých. Preto si vývojári uvedomovali ťažkosti, ktoré vznikajú v procese komunikácie a požiadaviek oboch strán.
Zariadenie zachytáva reč na vzdialenosť 2 m azobrazí ho na obrazovke ako text. Gadget môžu používať aj hluchoslepí – na tento účel je k „Charliemu“ pripojený Braillov displej. Umožňuje vám čítať informácie prstami a zadať odpoveď.
Braillovo písmo bolo vyvinuté v roku 1824.Je to systém konvexných bodov a dutín medzi nimi. Každý znak je zakódovaný pomocou mriežky 3x2. Kombinácia bodiek v každej bunke zodpovedá písmenu alebo interpunkčnému znamienku. Ak text zmení písmo napríklad z latinky na azbuku, je to tiež označené špeciálnym symbolom.
Vývojári hovoria, že analógy "Charlie" natrh tiež nie. Početné programy, ktoré prekladajú reč do textu, sú určené predovšetkým na interakciu medzi človekom a počítačom, a nie na vzájomnú komunikáciu dvoch ľudí.
Prvý stroj schopný rozpoznávania hlasusa objavil v 50. rokoch medzi stenami Bell Labs. Prístroj určoval čísla od nuly po deväť. Stroj zároveň oveľa lepšie rozumel vynálezcovi: keď hovoril, presnosť reprodukcie bola asi 90 %. Zariadenie správne rozpoznalo reč iných ľudí iba v 70–80 % prípadov.
Až do 90. rokov bolo rozpoznávanie reči založené našablóny: zvukové vlny boli preložené do množiny čísel a výsledok sa zobrazil, keď sa reč zhodovala so vzorkou. Preto bolo pre správnu interpretáciu hlasových signálov potrebné eliminovať hluk pozadia, hovoriť pomaly a zreteľne.
Prvý rozpoznávač reči, ktorý nevyžadoval pauzy medzi slovami, bol Dragon's NaturallySpeaking. Objavil sa v roku 1997 a používa sa dodnes.
Strojové učenie a technológie AI výraznezlepšil systém rozpoznávania reči a umožnil prispôsobiť algoritmy individuálnemu spôsobu komunikácie každého človeka. Výsledkom bol vznik hlasových asistentov: Google Assistant, Siri od Apple, Alexa od Amazonu, „Alice“ od Yandex. Okrem toho existujú špeciálne aplikácie, napríklad ListNote, SpeechNotes, na rozpoznávanie reči, preklad hlasu do textovej správy. Niektoré aplikácie, ako napríklad Speechlogger, môžu dokonca vykonávať simultánny preklad z jedného jazyka do druhého.
S pomocou "Charlie" budú účastníci rozhovoru schopní komunikovaťnavzájom bez toho, aby sa uchýlili k sprostredkovateľovi. Okrem toho je možné zariadenie využiť aj na komunikáciu na diaľku, napríklad na prednášky na univerzitách alebo organizovanie stretnutí. Stačí, aby moderátor dal vedľa neho „Charlie“ a poslucháči sa pripojili k programu pomocou odkazu. Dekódovaná reč sa zobrazí na obrazovke smartfónu alebo počítača v reálnom čase.
Znova vidieť svet
"Sensor-Tech" sa tiež podieľa na vedeckom výskume v súvislosti s využitím neurotechnológií na návrat zraku.
Všetko sa to začalo v roku 2016 na medzinárodnej scénekonferencie v USA. Tam sa zástupcovia Nadácie So-Unification stretli s americkou spoločnosťou zaoberajúcou sa bionickým videním. Dohodli sa na vykonaní experimentu v Rusku na implantáciu bionických čipov nevidomým ľuďom.
„Zariadenie nemusí byť použiteľné pre každéhonevidiacich je to dosť úzky súbor chorôb, najmä retinitis pigmentosa. Zvláštnosťou je, že pri ňom odumiera len jedna vrstva buniek, ktorá premieňa svetlo na elektrický signál. Zvyšok buniek zostáva nažive, “vysvetľuje Denis.
Retinitis pigmentosa- dedičné ochorenie spojené sX chromozóm. S touto patológiou sa bunky sietnice, ktoré zhromažďujú obrázky a prenášajú ich pozdĺž optického nervu do mozgu, postupne ničia. Choroba začína stratou bočného a nočného videnia a nakoniec vedie k úplnej slepote. Neexistujú žiadne účinné preventívne opatrenia proti retinitis pigmentosa, ako aj metódy liečby. Implantácia mikročipov je stále vo vývoji a lekári tiež naznačujú, že génová terapia a liečba kmeňovými bunkami by sa mohli stať prelomom.
Výsledkom je, že v databázach fondov So-Unification a Art, Science and Sport našli dvoch ľudí so správnou diagnózou, ktoríneboli žiadne sprievodné patológie. V roku 2017 boli implantáty inštalované v Grigory Uljanov a Antonina Zakharchenko. Finančné prostriedky na operáciu pridelila Nadácia Alisher Usmanov.
Nadácia Alisher Usmanov "Umenie, veda a šport"založená v roku 2006. Financuje vzdelávacie a vedecké projekty (spolupracuje s MGIMO, MISiS), podporuje múzeá a divadlá (Sovremennik, Treťjakovská galéria, súbor Igora Mojsejeva a iné). Nadácia tiež podporuje zdravý životný štýl a organizuje súťaže, a to aj pre ľudí so zdravotným postihnutím.
Počas operácie je pacientovi umiestnená sietnicaimplantát s elektródami. Je spojená so špeciálnymi okuliarmi so zabudovanou kamerou. Informácie z kamery sa prenesú do mikropočítača, ktorý spracuje obraz a pošle signály do implantátu. Elektrické impulzy sa prenášajú pozdĺž zrakového nervu do mozgu, kde sa vytvára obraz.
Implantát má 60 elektród, s ktorými je možné porovnávaťobrázok 60 pixelov - podľa počtu bodov stimulovaných implantátom. S jeho pomocou môžete získať obraz iba o dostatočne veľkých predmetoch - okná, dvere, stoly, autá. Menšie predmety môžu vypadnúť z „matrice“, ktorú elektródy tvoria, alebo údaje nestačia na ich identifikáciu.
Keďže pacient nemá bunky zodpovedné zafarebné podanie, obraz je čiernobiely. No v porovnaní s úplnou slepotou aj takto obmedzené videnie z pohľadu zdravého človeka výrazne rozširuje možnosti pacientov. Dokážu sa orientovať v priestore aj v neznámych podmienkach bez vonkajšej pomoci a prídavných zariadení a stávajú sa celkom nezávislými.
Sensor-Tech dúfal, že operácia dovolízaregistrovať implantáty v Rusku a sprístupniť ich v rámci high-tech lekárskej starostlivosti. Nastal však problém: Ministerstvo zdravotníctva usúdilo, že dve operácie nestačia na vyvodenie záveru o bezpečnosti implantátov. Američania zase odmietli vykonávať ďalšie experimenty, pretože neexistovala žiadna záruka, že táto metóda bude nakoniec schválená.
„Pokiaľ ide o očné implantáty, príbeh sa skončil.Ale to je dokonca dobré, pretože to má pokračovanie v podobe kortikálnych implantátov, ktoré sa umiestňujú do mozgu. Práve tam dochádza k vizuálnemu spracovaniu informácií. Čipy sa dajú použiť na akýkoľvek druh slepoty, na rozdiel od očných. Toto je technologickejšie riešenie, “hovorí Denis.
Už v roku 2021 spoločnosť predstavila prvývývoj novým smerom. Toto je prvý neuroimplantát ELVIS pre mozog v Rusku, ktorý pomáha obnoviť zrak slepým a hluchoslepým ľuďom. Prístroj má implantát, ktorý je inštalovaný v mozgu, obruč s dvomi kamerami na nosenie na hlave – tie preberajú funkciu očí a mikropočítač, ktorý analyzuje obraz a prenáša ho do mozgu. Technológia umožňuje rozlíšiť siluety predmetov, ľudí a pochopiť umiestnenie predmetov.
Kým sa systém testuje na hlodavcoch, nasledovať budú testy na opiciach. V roku 2024 plánuje 10 nevidomých dobrovoľníkov nainštalovať kortikálny implantát.
Kortikálne zrakové implantáty устанавливают в кору головного мозга.Stimulujú zrakové oblasti, čo vedie k vizuálnym vnemom. Podľa odborníkov to umožní meniť jas obrázkov a zabezpečiť farebné podanie, čo je pri použití bionických implantátov nemožné. Prvé operácie na implantáciu kortikálnych implantátov sa uskutočnili už v 70. rokoch minulého storočia. A v roku 2018 americká spoločnosť Second Sight verejne nainštalovala moderné neuroimplantáty prvým nevidiacim dobrovoľníkom. Technológia prechádza klinickými skúškami.
Vedecký výskum a zámorské trhy
Medzi laboratórnymi prípadmi sú aj inérozvoj. Napríklad bezplatná aplikácia pre mobilné telefóny bola vyvinutá spolu s mobilným operátorom, aby pomohla nevidiacim určiť nominálnu hodnotu bankoviek. Je k dispozícii pre iOS a Android.
Ak chcete zistiť nominálnu hodnotu bankovky, namierte na ňu fotoaparát smartfónu. AI identifikuje bankovku a pomenuje ju. A ak nasmerujete fotoaparát na niekoľko účtov súčasne, zariadenie okamžite vypočíta ich výšku.
Ak aplikáciu používa osoba szrakovo a sluchovo postihnutí, ktorí nepočujú hlasový prejav, nominálnu hodnotu bankovky možno rozpoznať pomocou vibrácií – pre rôzne nominálne hodnoty sú k dispozícii ich vlastné režimy.
Ak telefón nedokáže rozpoznať účet, môžeteurobte snímku a pridajte ju do databázy pomocou funkcie „Pomoc pre vývojárov“. Zvyčajne to vzniká pri vydávaní nových alebo vzácnych pamätných listov.
Okrem výroby zariadení, Sensor-Techsa zaoberajú vedeckým výskumom v oblasti hluchoslepoty. „Chceme, aby zdraví ľudia pochopili, ako ľudia so zhoršeným zrakom alebo sluchom vnímajú svet vo všeobecnosti,“ hovorí Andrey.
Zobraziť tento príspevok na Instagram
Takže v laboratóriu vytvorili simulátory porušenípohľad: VR simulátor See My World a jeho mobilná verzia SMW Pro. „Rušenie“ sa prekrýva na živý obraz alebo na statický obraz. V dôsledku toho je obraz skreslený podľa konkrétnej zrakovej chyby. Napríklad bude rozmazaný alebo sa v strede obrázka objaví čierna škvrna.
„Simulujeme príznaky toho, ako sa človek srôzne poruchy zraku. Doslova: ako sa pozerať očami človeka, ktorý má šedý zákal, krátkozrakosť, astigmatizmus, glaukóm, “hovorí Andrey. Pomocou simulátora môžete tiež sledovať dynamiku ochorenia v priebehu času. To pomáha lekárom a študentom lepšie študovať klinický obraz a blízkym príbuzným pacienta - doslova sa pozerať na svet jeho očami.
„Aby bol obraz čo najpresnejší,na jej vytvorenie sa využíva klinický obraz choroby. Dodatočne si s pacientom ujasníme výsledok, aby si mohol potvrdiť, či vidí, či ešte nie je vážne poškodený, “vysvetľuje Andrey.
Teraz vývojári chcú propagovať svojezariadení na európskom a americkom trhu. Plánuje sa umiestniť gadgety na Amazon a okrem toho sa dostať k vládnym orgánom a verejným organizáciám, ktoré sa zaoberajú problémami ľudí so zdravotným postihnutím. Denis je presvedčený, že trh s aplikovaným vývojom bude len rásť. A riaditeľ laboratória Sensor-Tech vidí svoje poslanie v uľahčovaní života ľuďom s postihnutím vďaka technológiám.
Čítaj viac:
AI vyriešila biologický problém, s ktorým vedci bojujú už 50 rokov
Milisekunda namiesto 30 biliónov rokov na úlohu: Čína predstavila nový kvantový počítač
Vedci hľadajú ľudí, ktorí nemôžu byť infikovaní COVID-19. Na základe ich údajov vyrobia liek