Denis Kuleshov- Sensor-Tech-laboratorion johtaja.
Aleksanteri Popov- pääsuunnittelija
Andrei Demchinsky- Sensor-Techin lääketieteellisten projektien johtaja.
Neuroteknologiat, jotka poistavat rajoituksia
Mies kävelee kadulla.Toisessa kädessään hänellä on valkoinen keppi, jolla hän tuntee tietä. Toisessa on pieni musta esine, joka näyttää videokameralta. Mies ohjaa hänet ensin eteensä, sitten sivuille. Ohikulkijat eivät tiedä, että tällä hetkellä hän kuulee kuulokkeessa kehotteita: "Auto, etäisyys - 5 metriä. Mies, etäisyys - 3 metriä."
Toinen henkilö tulee MFC:lle."Hei", operaattori sanoo hymyillen, ja tämä sana ilmestyy näytölle vierailijaa päin. Mies hymyilee takaisin ja alkaa kirjoittaa ongelmaa näppäimistöllä, jonka käyttäjä lukee tietokoneen näytöltä. Välittäjänä huonokuuloisten ja ulkomaailman välillä on pieni laite, joka muuntaa puheen tekstiksi.
Molemmat laitteet on kehitetty ja valmistettu yrityksessä"Anturi-tekniikka". Sen johtaja Denis Kuleshov aloitti yhteistyön vammaisjärjestöjen kanssa vielä instituutissa ollessaan: hän auttoi tekemään tutkimusta. Vähitellen Denis tajusi, että hän halusi työskennellä tähän suuntaan ja kehittyä vammaisille. Siksi, kun vuonna 2014 hänelle tarjottiin liittymistä uuden So-Unification-säätiön tieteelliseen tutkimukseen, hän suostui välittömästi.
Perustettiin Kuurosokeiden tukisäätiö "So-Unity".huhtikuussa 2014. Käsittelee kuurosokeiden sosialisointia: avaa alueellisia tukikeskuksia, luo mahdollisuuksia työllistymiseen, vapaa-aikaan ja luovaan itsensä toteuttamiseen; tarjoaa oikeudellista, psykologista ja kohdennettua apua.
Rahastoon on kertynyt erilaisia projekteja mmnuorten ja tieteen, jotka liittyvät kuurosokeuteen, johon Denis osallistui. – Jossain vaiheessa päätettiin, että tätä olisi paljon tehokkaampaa ja oikeampaa kehittää erillisen laboratorion muodossa, joka käsittelee näitä asioita erikoisesti, Kuleshov muistelee.
Kodinkoneiden vivahteet
Vuonna 2017 Sensor-Tech laboratorio ilmestyi,jonka perusti So-Unification Foundation. Työt aloitettiin välittömästi kuulovammaisille ja sokeille tarkoitettujen laitteiden luomiseksi. Neuronet-tiekartan puitteissa myönnettiin tähän tieteellis-teknologisen aloitteen apuraha.
Edellytyksenä apurahan saamiselle oli hankkeen yhteisrahoitus: 70 % oli NTI:n myöntämä, loput rahoista suunnittelijat itse. Puuttuvat 30 % tarjosi So-Unification Foundation.
Laboratorion työ piti rakentaa tyhjästä:muodostivat suunnittelutoimiston ja koetehtaan, jossa koottiin laitteiden prototyyppejä. Ensimmäinen kehittäjien kohtaama ongelma on kokemuksen puute kodinkoneiden luomisesta. Heidän aikaisempi kokemuksensa instrumentointialasta liittyi pääasiassa puolustusteollisuuteen.
Ensimmäinen sokeille tarkoitetun laitteen prototyyppi osoittautuiliian hankala ja hankala käyttää. Saatuaan palautetta käyttäjiltä kehittäjät ovat muuttaneet sitä vakavasti. Laite piti saada toimimaan keskeytyksettä, sen käyttö on kätevää ja ymmärrettävää.
Nyt laboratorio on kehittänyt laitteen sokeille ja näkövammaisille - "Robin" ja laitteen kuulovammaisille - "Charlie".
"Vammaisille tarkoitettujen laitteiden markkinat eivät ole kovin suuret,kaikki tuotanto on pienimuotoista ja kallista ”, Denis sanoo. Tämä on syy laitteiden melko korkeaan hintaan: "Robin" maksaa 150 tuhatta ruplaa, "Charlie" - 195 tuhatta ruplaa. Siksi valmistajat neuvottelevat hallituksen kanssa keksintönsä sisällyttämisestä teknisen kunnostuksen keinojen luetteloon - tässä tapauksessa hallitus korvaa hankintakustannukset.
Kerro mitä näet
Ulospäin "Robin" muistuttaa kannettavaa kameraa.Anturit skannaavat esineitä, ja tekoäly määrittää, mikä on käyttäjän edessä - auto, pöytä, tietokone tai joku muu. Laitteen muistissa on yhteensä yli 50 objektia. Jos lataat sinne kuvia, se tunnistaa henkilön ja sanoo hänen nimensä. Robinin käyttämiseksi pimeässä siihen rakennettiin taskulamppu. Tässä tapauksessa gadget ei vain nimeä objektia, vaan myös arvioi etäisyyden siihen.
"Robinin" ensimmäinen julkaisu epäonnistui.Jotta laite havaitsi kohteen, laitetta oli osoitava, painettava painiketta ja odotettava vähintään 2 sekuntia. Mutta kävi ilmi, että tämä oli epämukavaa käyttäjille: heti painikkeen painamisen jälkeen he alkoivat ajaa laitetta puolelta toiselle. Tämän vuoksi "Robinin" ilmaisemat tiedot osoittautuivat merkityksettömiksi: hän kuvaili esineitä, jotka hän tunnisti ennen kuin hänet siirrettiin.
”Tiesimme, kuinka laitetta autetaan ja missäsuoraan, eikä ihmisillä ollut sellaista kokemusta. Tämän vuoksi heistä tuntui, että laite ei toiminut hyvin ”, Alexander selittää. Sitten kehittäjät päättivät muuttaa työperiaatetta. Palauteaika laitteesta lyheni sekuntiin, kun taas "Robin" toimi vain painiketta painettaessa. Tämä vaihtoehto osoittautui käyttäjille selkeämmäksi ja helpommaksi.
– Markkinoilla ei ole suoria kilpailijoita eli laitteita, joilla on samat toiminnot. Mutta on olemassa analogeja, esimerkiksi OrCam ”, Alexander sanoo.
OrCam MyEye ja OrCam MyReader— kannettavat keinotekoiset näkölaitteet,joita tuottaa samanniminen israelilainen yritys. Ne ovat pieni langaton kamera, joka voidaan kiinnittää lasien temppeliin. Ensimmäinen laite lukee painettua ja digitaalista tekstiä, tuoteviivakoodeja, tunnistaa kasvot ja puhuu vastaanotetun tiedon. Toista käytetään vain tekstien lukemiseen. Gadgetit tukevat 17 kieltä eivätkä vaadi Internet-yhteyttä.
Ääni muuttuu tekstiksi
"Charlie" on tarkoitettu ihmisille, joilla on ongelmiakuulo. Sen kehittämiseen osallistuivat henkilöt, joilla on kokemusta kuulovammaisten opettamisesta. Siksi kehittäjät olivat tietoisia viestintäprosessissa ilmenevistä vaikeuksista ja molempien osapuolten pyynnöistä.
Laite poimii puheen 2 metrin etäisyydeltä janäyttää sen näytöllä tekstinä. Laitetta voivat käyttää myös kuurosokeat - tätä varten "Charlieen" on kytketty pistekirjoitusnäyttö. Sen avulla voit lukea tietoja sormillasi ja kirjoittaa vastauksen.
Pistekirjoitus kehitettiin vuonna 1824.Se on kupereiden pisteiden ja niiden välisten onteloiden järjestelmä. Jokainen merkki on koodattu käyttämällä 3x2 ristikkoa. Jokaisessa solussa oleva pisteiden yhdistelmä vastaa kirjainta tai välimerkkiä. Jos teksti muuttaa kirjoitusta esimerkiksi latinasta kyrilliseen, tämä osoitetaan myös erityisellä symbolilla.
Kehittäjät sanovat, että analogit "Charlie" päällämarkkinat eivät myöskään. Lukuisat puheen tekstiksi kääntävät ohjelmat on suunniteltu ensisijaisesti ihmisen ja tietokoneen vuorovaikutukseen, ei kahden ihmisen kommunikointiin.
Ensimmäinen kone, joka pystyy äänentunnistukseenilmestyi 50-luvulla Bell Labsin seinien sisällä. Laite määritti numerot nollasta yhdeksään. Samaan aikaan kone ymmärsi keksijää paljon paremmin: kun hän puhui, toistotarkkuus oli noin 90%. Laite tunnisti oikein muiden ihmisten puheen vain 70–80 prosentissa tapauksista.
90-luvulle asti puheentunnistus perustuimallit: ääniaallot käännettiin joukoksi numeroita, ja tulos näytettiin, kun puhe vastasi näytettä. Siksi äänisignaalien oikea tulkinta edellyttää taustamelun poistamista, puhumista hitaasti ja selkeästi.
Ensimmäinen puheentunnistin, joka ei vaatinut taukoja sanojen välillä, oli Dragon's NaturallySpeaking. Se ilmestyi vuonna 1997 ja on edelleen käytössä.
Koneoppiminen ja tekoälyteknologiat merkittävästiparansi puheentunnistusjärjestelmää ja mahdollisti algoritmien mukauttamisen kunkin henkilön yksilölliseen kommunikointitapaan. Tuloksena syntyivät ääniavustajat: Google Assistant, Siri Applelta, Alexa Amazonista, "Alice" Yandexistä. Lisäksi on olemassa erityissovelluksia, esimerkiksi ListNote, SpeechNotes, puheentunnistukseen, äänen kääntämiseen tekstiviestiksi. Jotkut sovellukset, kuten Speechlogger, voivat jopa suorittaa simultaanikäännöksiä kielestä toiseen.
"Charlien" avulla keskustelukumppanit voivat kommunikoidatoistensa kanssa turvautumatta välittäjään. Lisäksi laitetta voidaan käyttää etäviestintään, esimerkiksi luennoille yliopistoissa tai kokousten pitämiseen. Riittää, että juontaja laittaa "Charlien" viereensä ja kuuntelijat muodostavat yhteyden ohjelmaan linkin kautta. Purettu puhe näkyy älypuhelimen tai tietokoneen näytöllä reaaliajassa.
Katso maailma uudelleen
Lisäksi "Sensor-Tech" osallistuu tieteelliseen tutkimukseen, joka liittyy neurotekniikoiden käyttöön näön palauttamiseksi.
Kaikki alkoi vuonna 2016 kansainvälisestä tapahtumastakonferensseja Yhdysvalloissa. Siellä So-Unification Foundationin edustajat tapasivat bionista näkemystä käsittelevän amerikkalaisen yrityksen. He sopivat suorittavansa Venäjällä kokeen bionisten sirujen istuttamiseksi sokeille ihmisille.
"Laite ei välttämättä sovellu kaikillesokeista tämä on melko kapea joukko sairauksia, pääasiassa retinitis pigmentosaa. Erikoisuus on, että sen kanssa vain yksi solukerros kuolee, mikä muuttaa valon sähköiseksi signaaliksi. Loput solut pysyvät hengissä ”, Denis selittää.
Verkkokalvorappeuma- perinnöllinen sairaus, johon liittyyX-kromosomi. Tämän patologian myötä verkkokalvon solut, jotka keräävät kuvia ja välittävät ne näköhermoa pitkin aivoihin, tuhoutuvat vähitellen. Sairaus alkaa sivu- ja pimeänäön menetyksellä ja johtaa lopulta täydelliseen sokeuteen. Retinitis pigmentosaa vastaan ei ole tehokkaita ehkäisytoimenpiteitä eikä hoitomenetelmiä. Mikrosirujen istutus on edelleen kehitteillä, ja lääkärit ehdottavat myös, että geeniterapia ja kantasoluhoito voisi olla läpimurto.
Tämän seurauksena So-Unification- ja Art-, Science and Sport -rahastojen tietokantoihin löysi kaksi ihmistä, joilla oli oikea diagnoosiei ollut samanaikaisia patologioita. Vuonna 2017 implantit asennettiin Grigory Uljanoville ja Antonina Zakharchenkolle. Rahat operaatioon myönsi Alisher Usmanov -säätiö.
Alisher Usmanov -säätiö "Taide, tiede ja urheilu"perustettu vuonna 2006. Rahoittaa koulutus- ja tieteellisiä hankkeita (yhteistyössä MGIMOn, MISiS:n kanssa), tukee museoita ja teattereita (Sovremennik, Tretjakovin galleria, Igor Moisejevin yhtye ja muut). Säätiö edistää myös terveellisiä elämäntapoja ja järjestää kilpailuja myös vammaisille.
Leikkauksen aikana potilaan verkkokalvo asetetaanimplantti elektrodeilla. Se liittyy erityisiin laseihin, joissa on sisäänrakennettu kamera. Kameran tiedot välittyvät mikrotietokoneelle, joka käsittelee kuvan ja lähettää signaaleja implanttiin. Sähköimpulssit välittyvät näköhermoa pitkin aivoihin, joissa muodostuu kuva.
Implantissa on 60 elektrodia, joita voidaan verrata60 pikselin kuva - implantin stimuloimien pisteiden lukumäärän mukaan. Sen avulla saat kuvan vain riittävän suurista esineistä - ikkunoista, ovista, pöydistä, autoista. Pienemmät esineet voivat pudota pois "matriisista", jonka elektrodit muodostavat, tai tiedot eivät riitä tunnistamaan niitä.
Koska potilaalla ei ole soluja, jotka ovat vastuussavärintoisto, kuva on mustavalkoinen. Mutta verrattuna täydelliseen sokeuteen, jopa tällainen rajoitettu näkö terveen ihmisen näkökulmasta laajentaa merkittävästi potilaiden kykyjä. He voivat navigoida avaruudessa myös tuntemattomissa olosuhteissa ilman ulkopuolista apua tai lisälaitteita ja tulla melko itsenäisiksi.
Sensor-Tech toivoi, että operaatio sallisirekisteröidä implantit Venäjällä ja asettamaan ne saataville korkean teknologian sairaanhoidon puitteissa. Mutta ongelma syntyi: terveysministeriö katsoi, että kaksi leikkausta ei riittänyt tekemään johtopäätöksiä implanttien turvallisuudesta. Amerikkalaiset puolestaan kieltäytyivät suorittamasta lisäkokeita, koska ei ollut takeita siitä, että tämä menetelmä lopulta hyväksyttäisiin.
”Silmäimplanttien osalta tarina on ohi.Mutta tämä on jopa hyvä, koska sillä on jatkoa aivokuoren implanttien muodossa, jotka sijoitetaan aivoihin. Siellä tapahtuu tiedon visuaalinen käsittely. Siruja voidaan käyttää kaikenlaisiin sokeuksiin, toisin kuin silmäsokeuksiin. Tämä on korkean teknologian ratkaisu ”, Denis sanoo.
Jo vuonna 2021 yritys esitteli ensimmäisenkehitystä uuteen suuntaan. Tämä on ensimmäinen ELVIS-neuroimplantti aivoille Venäjällä; se auttaa palauttamaan näön sokeille ja kuurosokeille. Laitteessa on aivoihin asennettu implantti, päähän kiinnitettävä vanne, jossa on kaksi kameraa - ne ottavat silmien toiminnan sekä mikrotietokone, joka analysoi kuvan ja välittää sen aivoihin. Tekniikka mahdollistaa esineiden, ihmisten siluettien erottamisen ja esineiden sijainnin ymmärtämisen.
Kun järjestelmää testataan jyrsijöillä, seuraavat testit apinoilla. Vuonna 2024 10 sokeaa vapaaehtoista suunnittelee kortikaalisen implantin asentamista.
Kortikaaliset visuaaliset implantitasennettuna aivokuoreen.Ne stimuloivat visuaalisia alueita, mikä johtaa visuaalisiin tuntemuksiin. Asiantuntijoiden mukaan tämä mahdollistaa kuvien kirkkauden muuttamisen ja varmistaa värintoiston, mikä on mahdotonta käytettäessä bionisia implantteja. Ensimmäiset leikkaukset kortikaalisten implanttien implantoimiseksi tehtiin jo viime vuosisadan 70-luvulla. Ja vuonna 2018 amerikkalainen yritys Second Sight asensi julkisesti moderneja neuroimplantteja ensimmäisille sokeille vapaaehtoisille. Tekniikka on kliinisissä kokeissa.
Tieteellinen tutkimus ja ulkomaiset markkinat
Laboratoriotapausten joukossa on muitakinkehitystä. Esimerkiksi matkapuhelimille kehitettiin yhdessä matkapuhelinoperaattorin kanssa ilmainen sovellus, joka auttaa sokeita määrittämään setelien nimellisarvot. Se on saatavilla iOS:lle ja Androidille.
Selvittääksesi setelin arvon, kohdista älypuhelimesi kamera siihen. Tekoäly tunnistaa setelin ja nimeää sen. Ja jos osoitat kameralla useita laskuja samanaikaisesti, laite laskee välittömästi niiden summan.
Jos sovellusta käyttää henkilö, jolla onnäkö- ja kuulovammaiset, jotka eivät kuule ääntä, setelin nimellisarvo voidaan tunnistaa tärinän avulla - eri nimityksille tarjotaan omat tilat.
Jos puhelin ei tunnista laskua, voitOta kuva ja lisää se tietokantaan "Ohje kehittäjille" -toiminnon kautta. Yleensä tarve tähän tulee esille uusia tai harvinaisia muistolappuja annettaessa.
Laitteiden valmistuksen lisäksi Sensor-Techharjoittavat tieteellistä tutkimusta kuurosokeuden alalla. "Haluamme saada terveet ihmiset ymmärtämään, kuinka näkö- tai kuulovammaiset näkevät maailman yleisesti", Andrey sanoo.
Katso tämä postaus Instagramissa
Joten laboratoriossa he loivat rikkomussimulaattoreitanäkymä: VR-simulaattori See My World ja sen mobiiliversio SMW Pro. "Häiriöt" asetetaan elävän kuvan tai staattisen kuvan päälle. Tämän seurauksena kuva vääristyy tietyn visuaalisen vian mukaan. Esimerkiksi siitä tulee epäselvä tai kuvan keskelle tulee musta täplä.
”Simuloimme oireita siitä, miten ihminenerilaisia näkövammoja. Kirjaimellisesti: kuinka katsoa ihmisen silmien läpi, jolla on kaihi, likinäköisyys, astigmatismi, glaukooma ”, Andrey sanoo. Simulaattorin avulla voit myös jäljittää taudin dynamiikkaa ajan myötä. Tämä auttaa lääkäreitä ja opiskelijoita tutkimaan paremmin kliinistä kuvaa ja potilaan lähisukulaisia - kirjaimellisesti katsomaan maailmaa hänen silmiensä kautta.
"Jotta kuva olisi mahdollisimman luotettava,sen luomiseen käytetään taudin kliinistä kuvaa. Lisäksi selvennämme potilaan tulosta, jotta hän vahvistaa, näkeekö hän näin, jos hänen näkönsä ei ole vielä pahasti vaurioitunut ”, Andrey selittää.
Nyt kehittäjät haluavat mainostaa omaalaitteita Euroopan ja Yhdysvaltojen markkinoilla. Amazoniin on tarkoitus laittaa vempaimia ja lisäksi mennä valtion virastoille ja julkisille organisaatioille, jotka käsittelevät vammaisten ongelmia. Denis luottaa siihen, että sovelluskehitysmarkkinat vain kasvavat. Ja Sensor-Tech-laboratorion johtaja näkee tehtävänsä helpottaa vammaisten elämää tekniikan ansiosta.
Lue lisää:
Tekoäly ratkaisi biologisen ongelman, jota tutkijat ovat taistelleet 50 vuoden ajan
Millisekunti 30 biljoonan vuoden sijasta tehtävään: Kiina esitteli uuden kvanttitietokoneen
Tutkijat etsivät ihmisiä, jotka eivät voi saada COVID-19-tartuntaa. Heidän tietojensa perusteella he tekevät lääkkeen