Denis Kulešov- ravnatelj laboratorija Sensor-Tech.
Aleksandar Popov- glavni dizajner
Andrej Demčinski- Voditelj medicinskih projekata u Sensor-Techu.
Neurotehnologije koje uklanjaju ograničenja
Čovjek hoda ulicom.U jednoj ruci ima bijeli štap kojim opipa cestu. U drugom je mali crni predmet koji izgleda kao video kamera. Osoba ga usmjerava ispred sebe, a zatim na strane. Prolaznici ne znaju da u tom trenutku čuje nagovještaje u slušalici: “Auto, udaljenost je 5 metara. Čovjek, udaljenost - 3 metra.
Još jedna osoba dolazi u MFC.“Zdravo”, kaže operater sa smiješkom, a ova se riječ pojavljuje na ekranu okrenutom prema posjetitelju. Osoba uzvrati osmijeh i počne tipkati problem na tipkovnici, što će operater pročitati na monitoru računala. Posrednik između osoba oštećenog sluha i vanjskog svijeta je mali uređaj koji pretvara govor u tekst.
Oba instrumenta dizajnira i proizvodi tvrtka"Senzor-Tech". Njegov ravnatelj Denis Kuleshov počeo je surađivati s organizacijama za osobe s invaliditetom dok je još studirao na institutu: pomogao je u provođenju istraživanja. Postupno je Denis shvatio da želi raditi u tom smjeru i baviti se razvojem za osobe s invaliditetom. Stoga, kada mu je 2014. godine ponuđeno da se uključi u znanstveno istraživanje novog fonda “Connection”, odmah je pristao.
Osnovana je Zaklada za potporu gluhoslijepih "Veza".u travnju 2014. Bavi se socijalizacijom gluhoslijepih: otvara regionalne centre potpore, stvara mogućnosti za zapošljavanje, razonodu i kreativnu samoostvarenje; pruža pravnu, psihološku i ciljanu pomoć.
Zaklada je akumulirala razne projekte, uključujućimladih i znanstvenih, vezanih uz problematiku gluhosljepoće, u kojoj je sudjelovao Denis. "U nekom trenutku smo odlučili da bi bilo puno učinkovitije i ispravnije to razviti u obliku zasebnog laboratorija koji se bavi tim pitanjima na specijaliziran način", prisjeća se Kulešov.
Nijanse kućanskih aparata
2017. godine pojavio se laboratorij Sensor-Tech,čiji je osnivač bila zaklada "So-edinenie". Odmah se počelo raditi na izradi gadgeta za nagluhe i slijepe osobe. Za to je dodijeljena bespovratna sredstva Inicijative za znanost i tehnologiju u sklopu Neuronet mape puta.
Uvjet za dobivanje bespovratnih sredstava bilo je sufinanciranje projekta: 70% je dodijelio NTI, programeri su morali sami pronaći ostatak novca. Nedostajućih 30% osigurao je fond Unije.
Rad laboratorija morao se graditi od nule:formirao projektni biro i probnu proizvodnju, gdje su sastavljani prototipovi uređaja. Prvi problem s kojim su se programeri suočili bio je nedostatak iskustva u stvaranju kućanskih aparata. Njihovo dosadašnje iskustvo u inženjerstvu instrumenata uglavnom se odnosilo na obrambenu industriju.
Ispostavilo se da je prvi prototip uređaja za slijepepreviše glomazan i nezgodan za korištenje. Dobivši povratne informacije od korisnika, programeri su ga ozbiljno transformirali. Bilo je potrebno da uređaj radi bez prekida, da bude prikladan i razumljiv u uporabi.
Sada je laboratorij razvio uređaj za slijepe i slabovidne - "Robin" i uređaj za osobe s oštećenjem sluha - "Charlie".
“Tržište uređaja za osobe s invaliditetom nije veliko,sva proizvodnja je mala i skupa”, kaže Denis. To je razlog prilično visoke cijene uređaja: "Robin" košta 150 tisuća rubalja, "Charlie" - 195 tisuća rubalja. Stoga proizvođači pregovaraju s Vladom kako bi njihovi izumi bili uvršteni na popis sredstava tehničke sanacije - u ovom slučaju država nadoknađuje troškove nabave.
Reci što vidiš
Izvana, "Robin" podsjeća na prijenosnu kameru.Senzori skeniraju objekte, a umjetna inteligencija utvrđuje da se korisnik nalazi ispred automobila, stola, računala ili druge osobe. Ukupno se u memoriji uređaja nalazi više od 50 objekata. Ako tamo učitate fotografije, prepoznat će osobu i nazvati njeno ime. Za korištenje "Robina" u mraku, u njega je ugrađena svjetiljka. Istodobno, gadget ne samo da imenuje objekt, već i procjenjuje udaljenost do njega.
Prvo izdanje "Robina" bilo je neuspješno.Kako bi uređaj identificirao objekt, bilo je potrebno usmjeriti uređaj, pritisnuti tipku i pričekati najmanje 2 sekunde. No, pokazalo se da je to za korisnike bilo nezgodno: odmah nakon pritiska na tipku, počeli su voziti uređaj s jedne na drugu stranu. Zbog toga su se informacije koje je iznio "Robin" ispostavile nebitnima: opisao je predmete koje je prepoznao prije nego što su ga premjestili.
“Znali smo kako pomoći uređaju i gdjeizravno, a ljudi nisu imali takvo iskustvo. Zbog toga im se činilo da uređaj ne radi dobro “, objašnjava Alexander. Tada su programeri odlučili promijeniti princip rada. Vrijeme povratne sprege s uređaja smanjeno je na sekundu, dok je "Robin" radio samo kada se pritisne tipka. Ova opcija se pokazala jasnijom i jednostavnijom za korisnike.
“Na tržištu nema izravnih konkurenata, odnosno uređaja s istim funkcijama. Ali postoje analozi, na primjer, OrCam”, kaže Alexander.
OrCam MyEye i OrCam MyReader- prijenosni uređaji za umjetno gledanje,koje proizvodi istoimena izraelska tvrtka. One su mala bežična kamera koja se može pričvrstiti na dršku naočala. Prvi uređaj čita tiskani i digitalni tekst, crtične kodove proizvoda, prepoznaje lica i izgovara primljene informacije. Drugi se koristi samo za čitanje tekstova. Gadgeti podržavaju 17 jezika i ne zahtijevaju internetsku vezu.
Glas se pretvara u tekst
"Charlie" je za osobe s psihičkim problemima.sluha. Razvili su ga ljudi s iskustvom u podučavanju za osobe oštećena sluha. Stoga su programeri bili svjesni poteškoća koje se javljaju u procesu komunikacije i zahtjeva obje strane.
Uređaj hvata govor na udaljenosti od 2 m iprikazuje ga na ekranu kao tekst. Gadget mogu koristiti i gluhoslijepi – za to je Brailleov zaslon povezan s Charliejem. Omogućuje čitanje informacija prstima i unos odgovora.
Brajevo pismo je razvijeno 1824.Ovo je sustav konveksnih točaka i praznina između njih. Svaki simbol je kodiran pomoću 3x2 rešetke. Kombinacija točaka unutar svake ćelije odgovara slovu ili interpunkcijskom znaku. Ako dođe do promjene pisanja u tekstu, na primjer, s latinice na ćirilicu, to je također označeno posebnim simbolom.
Programeri kažu da su analozi "Charlieja" natakođer nema tržišta. Brojni programi koji prevode govor u tekst osmišljeni su prvenstveno za interakciju čovjeka i računala, a ne za međusobnu komunikaciju dvoje ljudi.
Prvi stroj sposoban za prepoznavanje glasapojavio 50-ih godina unutar zidina Bell Labsa. Uređaj je određivao brojeve od nula do devet. Istodobno, stroj je puno bolje razumio izumitelja: kada je govorio, točnost reprodukcije bila je oko 90%. Govor drugih ljudi uređaj je ispravno prepoznao samo u 70-80% slučajeva.
Do 1990-ih godina prepoznavanje govora se temeljilo naobrasci: zvučni valovi su prevedeni u skup brojeva, a rezultat je prikazan kada je govor odgovarao uzorku. Stoga je za ispravnu interpretaciju glasovnih signala bilo potrebno eliminirati pozadinsku buku, govoriti polako i razgovijetno.
Prvi prepoznavanje govora koji nije zahtijevao pauze između riječi bio je Dragon's NaturallySpeaking. Pojavio se 1997. godine, au upotrebi je i danas.
Strojno učenje i AI tehnologije su značajneunaprijedio sustav prepoznavanja govora i omogućio prilagodbu algoritama individualnom načinu komunikacije svake osobe. Rezultat je bila pojava glasovnih pomoćnika: Google Assistant, Siri iz Applea, Alexa iz Amazona, Alice iz Yandexa. Osim toga, postoje posebne aplikacije, na primjer, ListNote, SpeechNotes, za prepoznavanje govora, prevođenje glasa u tekstualnu poruku. Neke aplikacije, kao što je Speechlogger, mogu čak izvesti simultani prijevod s jednog jezika na drugi.
Uz pomoć "Charlieja" sugovornici će moći komuniciratimeđusobno bez pribjegavanja posredniku. Osim toga, uređaj se može koristiti za komunikaciju na daljinu, na primjer, za predavanja na sveučilištima ili sastanke. Dovoljno je da govornik pored sebe stavi “Charlieja”, a da se slušatelji povežu na program preko poveznice. Transkribirani govor bit će prikazan na ekranu pametnog telefona ili računala u stvarnom vremenu.
Vidjeti svijet ponovo
Sensor-Tech također sudjeluje u znanstvenim istraživanjima o korištenju neurotehnologija za vraćanje vida.
Sve je počelo 2016. na međunarodnojkonferencijama u SAD-u. Na njemu su se predstavnici Zaklade "Union" upoznali s američkom tvrtkom koja se bavi bioničkim vidom. Složili su se provesti eksperiment u Rusiji za implantaciju bioničkih čipova slijepim ljudima.
Uređaj možda nije prikladan za sveslijepi, to je prilično uzak skup bolesti, uglavnom retinitis pigmentosa. Posebnost je u tome što s njim umire samo jedan sloj stanica, koji svjetlost pretvara u električni signal. Ostale stanice ostaju žive”, objašnjava Denis.
pigmentozni retinitis- nasljedna bolest povezana sX kromosom. S ovom patologijom, stanice mrežnice koje prikupljaju slike i prenose ih duž optičkog živca u mozak postupno se uništavaju. Bolest počinje gubitkom bočnog i noćnog vida i na kraju dovodi do potpune sljepoće. Ne postoje učinkovite preventivne mjere protiv retinitis pigmentosa, kao ni metode liječenja. Implantacija mikročipova još je u razvoju, a liječnici također sugeriraju da bi genska terapija i liječenje matičnim stanicama mogli postati otkriće.
Kao rezultat toga, u osnovama fondova "Veza" i "Umjetnost, znanost i sport" pronađene dvije osobe sa željenom dijagnozom, koje imajunije bilo komorbiditeta. 2017. ugrađeni su implantati Grigoriju Uljanovu i Antonini Zakharchenko. Sredstva za operaciju dodijelila je Zaklada Alisher Usmanov.
Zaklada Alisher Usmanov "Umjetnost, znanost i sport"osnovana 2006. godine. Financira obrazovne i znanstvene projekte (surađuje s MGIMO, MISiS), podupire muzeje i kazališta (Sovremennik, Tretjakovska galerija, Ansambl Igora Moisejeva i drugi). Zaklada također promiče zdrav način života i organizira natjecanja, uključujući i za osobe s invaliditetom.
Tijekom operacije mrežnica pacijenta jeimplantat s elektrodama. Povezan je s posebnim naočalama s ugrađenom kamerom. Informacije iz kamere se prenose na mikroračunalo koje obrađuje sliku i šalje signale implantatu. Električni impulsi se prenose duž optičkog živca do mozga, gdje se formira slika.
U implantatu se nalazi 60 elektroda, s kojima se može usporeditislika od 60 piksela – prema broju točaka koje stimulira implantat. Pomoću njega možete dobiti sliku samo prilično velikih objekata - prozora, vrata, stolova, automobila. Manji predmeti mogu ispasti iz "matrice" koju tvore elektrode ili nema dovoljno podataka za njihovu identifikaciju.
Budući da pacijent nema stanice odgovorne zaprikaz boja, slika je crno-bijela. Ali u usporedbi s potpunom sljepoćom, čak i takav ograničeni vid sa stajališta zdrave osobe značajno proširuje mogućnosti pacijenata. Mogu se kretati u svemiru čak iu nepoznatim uvjetima bez vanjske pomoći ili dodatnih uređaja i postati prilično samostalni.
Sensor-Tech se nadao da će operacija dopustitiregistrirati implantate u Rusiji i učiniti ih dostupnim kao dio visokotehnološke medicinske skrbi. No, nastao je problem: Ministarstvo zdravstva smatralo je da dvije operacije nisu dovoljne da se zaključi da su implantati sigurni. Amerikanci su pak odbili provoditi daljnje eksperimente, jer nije bilo jamstva da će ova metoda na kraju biti odobrena.
“Što se tiče očnih implantata, priča je gotova.Ali to je čak i dobro, jer ima nastavak u obliku kortikalnih implantata koji se postavljaju u mozak. Ovdje se odvija vizualna obrada. Čips se može koristiti za bilo koju vrstu sljepoće, za razliku od oka. Ovo je više high-tech rješenje”, kaže Denis.
Već 2021. godine tvrtka je predstavila prvirazvoj u novom smjeru. Ovo je prvi neuroimplantat mozga ELVIS u Rusiji, pomaže slijepim i gluhoslijepim osobama vratiti vid. Uređaj ima implantat koji se ugrađuje u mozak, traku za glavu s dvije kamere koje se moraju nositi na glavi – one preuzimaju funkciju očiju, te mikroračunalo koje analizira sliku i prenosi je u mozak. Tehnologija vam omogućuje razlikovanje silueta objekata, ljudi i razumijevanje položaja objekata.
Dok se sustav testira na glodavcima, uslijedit će testovi na majmunima. U 2024. godini planira se ugradnja kortikalnog implantata na deset slijepih volontera.
Kortikalni vizualni implantatiinstaliran u moždanoj kori.Oni stimuliraju vidna područja, što rezultira vizualnim osjećajima. Prema riječima stručnjaka, to će omogućiti promjenu svjetline slika i osigurati reprodukciju boja, što je nemoguće pri korištenju bioničkih implantata. Prve operacije ugradnje kortikalnih implantata izvedene su još 70-ih godina prošlog stoljeća. A 2018. američka tvrtka Second Sight javno je ugradila moderne neuroimplante prvim slijepim volonterima. Tehnologija je u fazi kliničkih ispitivanja.
Znanstvena istraživanja i inozemna tržišta
Među laboratorijskim slučajevima ima i drugihrazvoj. Primjerice, zajedno s mobilnim operaterom razvijena je besplatna aplikacija za mobilne telefone koja slijepim osobama pomaže u određivanju apoena novčanica. Dostupan je za iOS i Android.
Da biste saznali apoen novčanice, samo usmjerite kameru svog pametnog telefona na nju. AI će identificirati novčanicu i imenovati je. A usmjerite li kameru na nekoliko računa istovremeno, uređaj će odmah izračunati njihov iznos.
Ako aplikaciju koristi osoba saslabovidnim i sluhom, koji ne mogu čuti glasovnu glumu, apoen novčanice može se prepoznati pomoću vibracije - različite apoene imaju svoje načine rada.
Ako telefon ne može prepoznati račun, može bitisnimite sliku i dodajte je u bazu podataka putem funkcije "Pomoć programerima". Obično se potreba za tim javlja kod izdavanja novih ili rijetkih prigodnih novčanica.
Osim proizvodnje uređaja, Sensor-Techbavi se znanstvenim istraživanjem u području gluhosljepoće. “Želimo zdravim ljudima jasno dati do znanja kako oni koji imaju oštećenje vida ili sluha općenito percipiraju svijet”, kaže Andrey.
Pogledajte ovu objavu na Instagramu
Dakle, u laboratoriju su stvoreni simulatori kršenjavizija: VR-simulator See My World i njegova mobilna verzija SMW Pro. "Šum" se postavlja na sliku u stvarnom vremenu ili statičnu sliku. Kao rezultat toga, slika je izobličena u skladu s određenim vizualnim nedostatkom. Na primjer, postaje mutna ili se u središtu slike pojavljuje crna točka.
“Simuliramo simptome kako osoba srazna oštećenja vida. Doslovno: kako gledati kroz oči osobe koja ima kataraktu, kratkovidnost, astigmatizam, glaukom “, kaže Andrey. Također, pomoću simulatora možete pratiti dinamiku bolesti tijekom vremena. To pomaže liječnicima i studentima da bolje razumiju kliničku sliku, a bližoj rodbini pacijenta - doslovno gledaju na svijet njegovim očima.
“Kako bi slika bila što pouzdanija,za njegovo stvaranje koristi se klinička slika bolesti. Osim toga, pojašnjavamo rezultat pacijenta kako bi on potvrdio vidi li na ovaj način, ako mu vid još nije jako oštećen”, objašnjava Andrey.
Sada programeri žele promovirati svojeuređaja na tržištima Europe i SAD-a. Planira se stavljanje gadgeta na Amazon i, uz to, odlazak u državne agencije i javne organizacije koje se bave problemima invalida. Denis je uvjeren da će tržište razvoja aplikacija samo rasti. A ravnatelj laboratorija Sensor-Tech svoju misiju vidi u tome da zahvaljujući tehnologiji olakša život osobama s invaliditetom.
Čitaj više:
AI je riješio biološki problem s kojim se znanstvenici bore već 50 godina
Milisekunda umjesto 30 trilijuna godina za zadatak: Kina predstavila novo kvantno računalo
Znanstvenici traže osobe koje se ne mogu zaraziti COVID-19. Na temelju njihovih podataka napravit će lijek