Denis Kulešov- Ředitel laboratoře Sensor-Tech.
Alexandr Popov- hlavní designér
Andrej Demčinskij- Vedoucí lékařských projektů ve společnosti Sensor-Tech.
Neurotechnologie, které odstraňují omezení
Po ulici jde muž.V jedné ruce má bílou hůl, se kterou cítí cestu. Na druhém je malý černý objekt, který vypadá jako videokamera. Člověk to nasměruje před sebe, pak do stran. Kolemjdoucí neví, že v tu chvíli slyší ve sluchátku narážky: „Auto, vzdálenost je 5 metrů. Muž, vzdálenost - 3 metry.
Do MFC přichází další osoba."Dobrý den," říká operátor s úsměvem a toto slovo se objeví na obrazovce směrem k návštěvníkovi. Osoba se usměje a začne psát problém na klávesnici, který operátor přečte na monitoru počítače. Prostředníkem mezi sluchově postiženými a vnějším světem je malé zařízení, které převádí řeč na text.
Oba nástroje jsou navrženy a vyrobeny společností"Sensor-Tech". Jeho ředitel Denis Kuleshov začal s organizacemi pro zdravotně postižené spolupracovat ještě během studií na ústavu: pomáhal provádět výzkum. Postupně si Denis uvědomil, že chce pracovat tímto směrem a zapojit se do vývoje pro lidi s postižením. Proto, když mu v roce 2014 nabídli, aby se zapojil do vědeckého výzkumu nového fondu „Connection“, okamžitě souhlasil.
Vznikla Nadace na podporu hluchoslepých „Spojení“.v dubnu 2014. Angažuje se v socializaci hluchoslepých: otevírá regionální centra podpory, vytváří příležitosti pro zaměstnání, volný čas a kreativní seberealizaci; poskytuje právní, psychologickou a cílenou pomoc.
Nadace nashromáždila různé projekty, včetněmládežnické a vědecké, týkající se problematiky hluchoslepoty, na kterých se Denis podílel. „V určitém okamžiku jsme se rozhodli, že by bylo mnohem efektivnější a správnější vyvinout to ve formátu samostatné laboratoře, která se specializovaným způsobem zabývá těmito problémy,“ vzpomíná Kuleshov.
Nuance domácích spotřebičů
V roce 2017 se objevila laboratoř Sensor-Tech,jehož zakladatelem byla nadace „So-edinenie“. Okamžitě se začalo pracovat na tvorbě vychytávek pro sluchově postižené a nevidomé. Na to byl přidělen grant z Iniciativy pro vědu a techniku jako součást plánu Neuronet.
Podmínkou pro získání dotace bylo spolufinancování projektu: 70 % alokovala NTI, zbytek si museli developeři sehnat sami. Chybějících 30 % poskytl fond Unie.
Práce laboratoře musela být postavena od nuly:tvořila konstrukční kancelář a pilotní výrobu, kde se montovaly prototypy zařízení. Prvním problémem, kterému vývojáři čelili, byl nedostatek zkušeností s vytvářením domácích spotřebičů. Jejich předchozí zkušenosti v přístrojovém inženýrství se týkaly především obranného průmyslu.
První prototyp zařízení pro nevidomé se ukázal býtpříliš objemné a nepohodlné na použití. Po obdržení zpětné vazby od uživatelů jej vývojáři vážně změnili. Bylo nutné, aby zařízení fungovalo bez přerušení, bylo pohodlné a srozumitelné při používání.
Nyní laboratoř vyvinula přístroj pro nevidomé a slabozraké – „Robin“ a přístroj pro osoby se sluchovým postižením – „Charlie“.
„Trh se zařízeními pro tělesně postižené není příliš velký,veškerá výroba je malá a drahá,“ říká Denis. To je důvod pro poměrně vysokou cenu zařízení: "Robin" stojí 150 tisíc rublů, "Charlie" - 195 tisíc rublů. Výrobci proto vyjednávají s vládou, aby jejich vynálezy byly zařazeny na seznam prostředků technické rehabilitace – v tomto případě stát kompenzuje náklady na pořízení.
Řekni, co vidíš
Externě „Robin“ připomíná přenosnou kameru.Senzory skenují objekty a umělá inteligence určí, že se uživatel nachází před autem, stolem, počítačem nebo jinou osobou. Celkem je v paměti zařízení více než 50 objektů. Pokud tam nahrajete fotky, rozpozná to člověka a zavolá jeho jméno. Pro použití „Robina“ ve tmě byla do něj zabudována baterka. Zároveň gadget nejen pojmenuje objekt, ale také odhadne vzdálenost k němu.
První vydání "Robin" bylo neúspěšné.Aby zařízení identifikovalo předmět, bylo nutné zařízení namířit, stisknout tlačítko a počkat alespoň 2 sekundy. Ukázalo se však, že to bylo pro uživatele nepohodlné: okamžitě po stisknutí tlačítka začali pohánět zařízení ze strany na stranu. Z tohoto důvodu se informace vyjádřené "Robinem" ukázaly jako irelevantní: popsal předměty, které poznal, než se pohnul.
„Věděli jsme, jak zařízení pomoci a kdepřímé a lidé takovou zkušenost neměli. Z tohoto důvodu se jim zdálo, že zařízení nefunguje dobře, “vysvětluje Alexander. Poté se vývojáři rozhodli změnit princip fungování. Čas zpětné vazby ze zařízení se zkrátil na sekundu, zatímco „Robin“ fungoval pouze při stisknutí tlačítka. Tato možnost se ukázala jako přehlednější a pro uživatele jednodušší.
„Na trhu nejsou žádní přímí konkurenti, tedy zařízení se stejnými funkcemi. Ale existují analogy, například OrCam,“ říká Alexander.
OrCam MyEye a OrCam MyReader- přenosná zařízení pro umělé vidění,které vyrábí stejnojmenná izraelská společnost. Jedná se o malou bezdrátovou kameru, kterou lze připevnit na stranice brýlí. První zařízení čte tištěný a digitální text, čárové kódy produktů, rozpoznává tváře a vyslovuje přijaté informace. Druhá slouží pouze pro čtení textů. Gadgety podporují 17 jazyků a nevyžadují připojení k internetu.
Hlas se změní na text
"Charlie" je pro lidi s duševními problémy.sluch. Byl vyvinut lidmi se zkušenostmi s výukou pro sluchově postižené. Proto si vývojáři byli vědomi obtíží, které vznikají v procesu komunikace a požadavků obou stran.
Zařízení snímá řeč na vzdálenost 2 m azobrazí jej na obrazovce jako text. Gadget mohou používat i hluchoslepí – k tomu je k Charliemu připojen braillský řádek. Umožňuje vám číst informace prsty a zadat odpověď.
Braillovo písmo bylo vyvinuto v roce 1824.Jedná se o systém konvexních bodů a dutin mezi nimi. Každý symbol je zakódován pomocí mřížky 3x2. Kombinace teček v každé buňce odpovídá písmenu nebo interpunkčnímu znaménku. Pokud dojde v textu ke změně písma např. z latinky na azbuku, je to také označeno speciálním znakem.
Vývojáři říkají, že analogy "Charlie" nataké žádný trh. Četné programy, které převádějí řeč do textu, jsou určeny především pro interakci člověka s počítačem, nikoli pro vzájemnou komunikaci dvou lidí.
První stroj schopný rozpoznávat hlasse objevil v 50. letech ve zdech Bellových laboratoří. Přístroj určil čísla od nuly do devíti. Stroj si přitom vynálezce mnohem lépe rozuměl: když mluvil, přesnost reprodukce byla asi 90 %. Řeč ostatních lidí byla zařízením správně rozpoznána pouze v 70–80 % případů.
Až do 90. let bylo rozpoznávání řeči založeno navzory: zvukové vlny byly převedeny do sady čísel a výsledek se zobrazil, když řeč odpovídala vzorku. Pro správnou interpretaci hlasových signálů bylo proto nutné eliminovat hluk na pozadí, mluvit pomalu a zřetelně.
První rozpoznávač řeči, který nevyžadoval pauzy mezi slovy, byl Dragon's NaturallySpeaking. Objevil se v roce 1997 a používá se dodnes.
Strojové učení a technologie AI jsou významnézlepšila systém rozpoznávání řeči a umožnila přizpůsobit algoritmy individuálnímu způsobu komunikace každého člověka. Výsledkem byl vznik hlasových asistentů: Google Assistant, Siri od Applu, Alexa od Amazonu, Alice od Yandexu. Kromě toho existují speciální aplikace, jako je ListNote, SpeechNotes, pro rozpoznávání řeči, převod hlasu do textové zprávy. Některé aplikace, jako je Speechlogger, mohou dokonce provádět simultánní překlad z jednoho jazyka do druhého.
S pomocí "Charlie" budou partneři schopni komunikovatmezi sebou, aniž by se uchýlili k prostředníkovi. Zařízení lze navíc využít pro vzdálenou komunikaci, například při přednáškách na univerzitách nebo jednáních. Stačí, když řečník vedle sebe postaví „Charlie“ a posluchači se připojí k programu přes odkaz. Přepsaná řeč se zobrazí na obrazovce chytrého telefonu nebo počítače v reálném čase.
Podívejte se znovu na svět
Sensor-Tech se také podílí na vědeckém výzkumu využití neurotechnologií k obnovení zraku.
Vše začalo v roce 2016 na mezinárkonference v USA. Na něm se zástupci nadace „Union“ seznámili s americkou společností zabývající se bionickým viděním. Dohodli se, že v Rusku provedou experiment na implantaci bionických čipů nevidomým lidem.
Zařízení nemusí být vhodné pro všechnyslepý, je to spíše úzký okruh nemocí, hlavně retinitis pigmentosa. Zvláštností je, že s ním odumírá pouze jedna vrstva buněk, která přeměňuje světlo na elektrický signál. Zbytek buněk zůstává naživu,“ vysvětluje Denis.
retinitis pigmentosa- dědičné onemocnění spojené sX chromozom. S touto patologií jsou buňky sítnice, které shromažďují obrazy a přenášejí je podél optického nervu do mozku, postupně zničeny. Onemocnění začíná ztrátou bočního a nočního vidění a nakonec vede k úplné slepotě. Neexistují žádná účinná preventivní opatření proti retinitis pigmentosa, stejně jako žádné léčebné metody. Implantace mikročipů je stále ve vývoji a lékaři také naznačují, že by se genová terapie a léčba kmenovými buňkami mohla stát průlomem.
Výsledkem je, že v základech fondů „Spojení“ a „Umění, věda a sport“ našli dva lidi s požadovanou diagnózou, kteří majínebyly žádné komorbidity. V roce 2017 byly instalovány implantáty pro Grigorije Uljanova a Antoninu Zacharčenko. Finanční prostředky na operaci byly přiděleny Alisher Usmanov Foundation.
Alisher Usmanov Foundation "Umění, věda a sport"založena v roce 2006. Financuje vzdělávací a vědecké projekty (spolupracuje s MGIMO, MISiS), podporuje muzea a divadla (Sovremennik, Treťjakovská galerie, Soubor Igora Moiseeva a další). Nadace také podporuje zdravý životní styl a pořádá soutěže, a to i pro osoby se zdravotním postižením.
Při operaci je sítnice pacientaimplantát s elektrodami. Je spojen se speciálními brýlemi s vestavěnou kamerou. Informace z kamery jsou přenášeny do mikropočítače, který zpracovává obraz a vysílá signály do implantátu. Elektrické impulsy jsou přenášeny podél zrakového nervu do mozku, kde se vytváří obraz.
V implantátu je 60 elektrod, které lze srovnávatobrázek 60 pixelů - podle počtu bodů stimulovaných implantátem. S ním můžete získat obraz pouze o poměrně velkých předmětech - okna, dveře, stoly, auta. Menší předměty mohou vypadnout z „matrice“, kterou elektrody tvoří, nebo není dostatek dat k jejich identifikaci.
Vzhledem k tomu, že pacient nemá buňky odpovědné zabarevné podání, obraz je černobílý. Ale oproti úplné slepotě i takto omezené vidění z pohledu zdravého člověka výrazně rozšiřuje možnosti pacientů. Mohou se pohybovat ve vesmíru i v neznámých podmínkách bez cizí pomoci nebo přídavných zařízení a stát se zcela nezávislými.
Sensor-Tech doufal, že operace dovolíregistrovat implantáty v Rusku a zpřístupnit je jako součást high-tech lékařské péče. Jenže nastal problém: Ministerstvo zdravotnictví se domnívalo, že dvě operace nestačí k závěru, že implantáty jsou bezpečné. Američané zase odmítli provádět další experimenty, protože neexistovala žádná záruka, že tato metoda bude nakonec schválena.
„Pokud jde o oční implantáty, příběh skončil.Ale to je dokonce dobře, protože to má pokračování v podobě kortikálních implantátů, které se umisťují do mozku. Zde probíhá vizuální zpracování. Čipy lze použít pro jakýkoli typ slepoty, na rozdíl od oční. Toto je technologicky vyspělejší řešení,“ říká Denis.
Již v roce 2021 společnost představila prvnívývoj novým směrem. Toto je první mozkový neuroimplantát ELVIS v Rusku, který pomáhá obnovit zrak nevidomým a hluchoslepým lidem. Zařízení má implantát, který se instaluje do mozku, čelenku se dvěma kamerami, které se musí nosit na hlavě – ty přebírají funkci očí, a mikropočítač, který analyzuje obraz a přenáší ho do mozku. Technologie umožňuje rozlišit siluety objektů, lidí a pochopit umístění objektů.
Zatímco se systém testuje na hlodavcích, budou následovat testy na opicích. V roce 2024 se plánuje instalace kortikálního implantátu u deseti nevidomých dobrovolníků.
Kortikální zrakové implantátyinstalované v mozkové kůře.Stimulují zrakové oblasti, což má za následek vizuální vjemy. Podle odborníků to umožní měnit jas snímků a zajistit barevné podání, což je při použití bionických implantátů nemožné. První operace k implantaci kortikálních implantátů byly provedeny již v 70. letech minulého století. A v roce 2018 americká společnost Second Sight veřejně instalovala moderní neuroimplantáty prvním nevidomým dobrovolníkům. Technologie prochází klinickými testy.
Vědecký výzkum a zámořské trhy
Mezi laboratorními případy jsou i dalšírozvoj. Společně s mobilním operátorem byla například vyvinuta bezplatná aplikace pro mobilní telefony, která má pomoci nevidomým lidem určit nominální hodnotu bankovek. Je k dispozici pro iOS a Android.
Chcete-li zjistit nominální hodnotu bankovky, stačí na ni namířit fotoaparát svého smartphonu. AI bankovku identifikuje a pojmenuje ji. A pokud namíříte fotoaparát na několik účtů současně, zařízení okamžitě spočítá jejich výši.
Pokud aplikaci používá osoba szrakově a sluchově postižení, kteří neslyší hlasový projev, lze nominální hodnotu bankovky rozpoznat pomocí vibrací - různé nominální hodnoty mají své vlastní režimy.
Pokud telefon nemůže rozpoznat účet, může býtpořiďte snímek a přidejte jej do databáze pomocí funkce „Pomoc vývojářům“. Obvykle to vzniká při vydávání nových nebo vzácných pamětních bankovek.
Kromě výroby zařízení se Sensor-Techzabývající se vědeckým výzkumem v oblasti hluchoslepoty. „Chceme zdravým lidem objasnit, jak lidé se zrakovým nebo sluchovým postižením obecně vnímají svět,“ říká Andrey.
Podívejte se na tento příspěvek na Instagramu
Takže v laboratoři byly vytvořeny simulátory porušenívize: VR-simulátor See My World a jeho mobilní verze SMW Pro. „Šum“ se překrývá s obrazem v reálném čase nebo se statickým obrazem. Výsledkem je zkreslení obrazu v souladu s konkrétní zrakovou vadou. Například bude rozmazaný nebo se uprostřed obrázku objeví černá skvrna.
„Simulujeme příznaky toho, jak se člověk srůzné zrakové vady. Doslova: jak se dívat očima člověka, který má šedý zákal, krátkozrakost, astigmatismus, glaukom, “říká Andrey. Pomocí simulátoru můžete také sledovat dynamiku onemocnění v průběhu času. To pomáhá lékařům a studentům lépe porozumět klinickému obrazu a blízkým příbuzným pacienta – doslova se dívat na svět jeho očima.
„Aby byl obraz co nejspolehlivější,k jeho vytvoření se využívá klinický obraz onemocnění. Kromě toho upřesňujeme výsledek pacienta, aby potvrdil, zda takto vidí, pokud jeho zrak ještě není vážně poškozen, “vysvětluje Andrey.
Nyní vývojáři chtějí propagovat svézařízení na trzích Evropy a USA. Plánuje se umístit gadgety na Amazon a kromě toho jít do vládních agentur a veřejných organizací zabývajících se problémy zdravotně postižených. Denis je přesvědčen, že trh s vývojem aplikací bude jen růst. A ředitel laboratoře Sensor-Tech vidí své poslání v usnadňování života lidí s handicapem díky technologiím.
Přečtěte si více:
Umělá inteligence vyřešila biologický problém, se kterým vědci bojují již 50 let
Milisekunda místo 30 bilionů let na úkol: Čína představila nový kvantový počítač
Vědci hledají lidi, kteří se nemohou nakazit COVID-19. Na základě svých údajů vyrobí lék