Denis Kuleshov- Direktør for Sensor-Tech laboratoriet.
Alexander Popov- chefdesigner
Andrey Demchinsky- Leder af medicinske projekter hos Sensor-Tech.
Neuroteknologier, der fjerner restriktioner
En mand går ned ad gaden.I den ene hånd har han en hvid stok, som han mærker vej med. I den anden er der en lille sort genstand, der ligner et videokamera. Manden dirigerer den først foran sig, derefter til siderne. Forbipasserende ved ikke, at han i dette øjeblik i øretelefonen hører opfordringer: "Bil, afstand - 5 meter. Mand, afstand - 3 meter."
En anden person kommer til MFC'en."Hej," siger operatøren med et smil, og dette ord vises på skærmen med ansigtet mod den besøgende. Manden smiler tilbage og begynder at skrive problemet på tastaturet, som operatøren vil læse på computerskærmen. Et mellemled mellem hørehæmmede og omverdenen er en lille enhed, der konverterer tale til tekst.
Begge enheder er udviklet og fremstillet i virksomheden"Sensor-Tech". Dets direktør Denis Kuleshov begyndte at samarbejde med organisationer for handicappede, mens han stadig var på instituttet: han hjalp med at udføre forskning. Efterhånden indså Denis, at han ville arbejde i denne retning og udvikle sig for mennesker med handicap. Derfor takkede han straks ja til, da han i 2014 blev tilbudt at tilslutte sig den videnskabelige forskning i den nye So-Uniification-fond.
Fonden til Støtte for Døvblinde "Så-Enhed" blev opretteti april 2014. Beskæftiger sig med socialiseringen af døvblinde: åbner regionale støttecentre, skaber muligheder for beskæftigelse, fritid og kreativ selvrealisering; yder juridisk, psykologisk og målrettet bistand.
Fonden har oparbejdet forskellige projekter, bl.aunge og videnskabelige, relateret til spørgsmålene om døvblindhed, som Denis deltog i. "På et tidspunkt blev det besluttet, at det ville være meget mere effektivt og mere korrekt at udvikle dette i formatet af et separat laboratorium, der behandler disse spørgsmål på en specialiseret måde," husker Kuleshov.
Nuancerne af husholdningsapparater
I 2017 dukkede Sensor-Tech laboratoriet op,som blev stiftet af So-Uniification Foundation. Arbejdet begyndte straks med at skabe gadgets til hørehæmmede og blinde. Der er bevilget en bevilling fra Videnskabeligt og Teknologisk Initiativ til dette inden for rammerne af Neuronets køreplan.
Betingelsen for at modtage bevillingen var medfinansiering af projektet: 70 % blev tildelt af NTI, resten af pengene skulle udviklerne selv finde. De manglende 30 % blev stillet til rådighed af So-Uniification Foundation.
Laboratoriets arbejde skulle bygges fra bunden:dannet et designbureau og et pilotanlæg, hvor prototyper af enheder blev samlet. Det første problem, som udviklerne står over for, er manglen på erfaring med at skabe husholdningsapparater. Deres tidligere erfaring med instrumentering var hovedsageligt relateret til forsvarsindustrien.
Den første prototype af en enhed til blinde viste sig at værefor besværligt og ubelejligt at bruge. Efter at have modtaget feedback fra brugere, har udviklerne for alvor ændret det. Det var nødvendigt at få enheden til at fungere uden afbrydelser, være praktisk og forståelig at bruge.
Nu har laboratoriet udviklet et apparat til blinde og svagsynede - "Robin" og et apparat til mennesker med hørehandicap - "Charlie".
"Markedet for enheder til mennesker med handicap er ikke særlig stort,al produktion er småskala og dyr,” siger Denis. Dette er grunden til den ret høje pris på enhederne: "Robin" koster 150 tusind rubler, "Charlie" - 195 tusind rubler. Derfor forhandler producenterne med regeringen om at inkludere deres opfindelser på listen over midler til teknisk rehabilitering - i dette tilfælde vil regeringen kompensere for indkøbsomkostningerne.
Fortæl mig, hvad du ser
Udadtil ligner "Robin" et bærbart kamera.Sensorer scanner objekter, og kunstig intelligens bestemmer, hvad der er foran brugeren - en bil, et bord, en computer eller en anden person. I alt er der mere end 50 objekter i enhedens hukommelse. Hvis du uploader billeder der, genkender den personen og siger hans navn. For at bruge "Robin" i mørket var der indbygget en lommelygte. I dette tilfælde navngiver gadgetten ikke kun objektet, men estimerer også afstanden til det.
Den første udgivelse af "Robin" var mislykket.For at enheden kunne registrere et objekt, var det nødvendigt at pege på enheden, trykke på knappen og vente mindst 2 sekunder. Men det viste sig, at dette var ubelejligt for brugerne: umiddelbart efter at have trykket på knappen begyndte de at køre enheden fra side til side. På grund af dette viste informationen fra "Robin" sig at være irrelevant: han beskrev genstande, som han genkendte, før han blev flyttet.
"Vi vidste, hvordan vi skulle hjælpe enheden, og hvor vi skulle hendirekte, og folk havde ikke sådan erfaring. På grund af dette så det ud til, at enheden ikke fungerede godt, "forklarer Alexander. Så besluttede udviklerne at ændre arbejdsprincippet. Feedbacktiden fra enheden blev reduceret til et sekund, mens "Robin" kun virkede, når der blev trykket på knappen. Denne mulighed viste sig at være klarere og lettere for brugerne.
”Der er ingen direkte konkurrenter, det vil sige enheder med samme funktioner, på markedet. Men der er analoger, for eksempel OrCam, "siger Alexander.
OrCam MyEye og OrCam MyReader— bærbare anordninger til kunstigt synsom er produceret af det israelske firma af samme navn. De er et lille trådløst kamera, der kan fastgøres til brillestangen. Den første enhed læser trykt og digital tekst, produktstregkoder, genkender ansigter og læser de modtagne oplysninger op. Den anden bruges kun til at læse tekster. Gadgets understøtter 17 sprog og kræver ikke en internetforbindelse.
Stemmen bliver til tekst
"Charlie" er beregnet til folk med problemer medhøring. I udviklingen deltog personer med erfaring i undervisning for hørehæmmede. Derfor var udviklerne opmærksomme på de vanskeligheder, der opstår i kommunikationsprocessen og begge parters anmodninger.
Enheden opfanger tale i en afstand af 2 m ogвыводит ее на экран в виде текста. Гаджетом могут пользоваться и слепоглухие — для этого к «Чарли» подключается дисплей Брайля. Он позволяет прочитать информацию пальцами и ввести ответ.
Braille blev udviklet i 1824.Det er et system af konvekse punkter og hulrum mellem dem. Hvert tegn er kodet ved hjælp af et 3x2 espalier. Kombinationen af prikker i hver celle svarer til et bogstav eller et tegnsætningstegn. Hvis teksten ændrer skriften, for eksempel fra latin til kyrillisk, er dette også angivet med et særligt symbol.
Udviklerne siger, at analoger af "Charlie" pådet gør markedet heller ikke. Talrige programmer, der oversætter tale til tekst, er primært designet til interaktion mellem mennesker og computere og ikke til at to personer kan kommunikere med hinanden.
Den første maskine, der er i stand til stemmegenkendelsedukkede op i 50'erne inden for Bell Labs mure. Enheden bestemte tal fra nul til ni. Samtidig forstod maskinen opfinderen meget bedre: når han talte, var gengivelsesnøjagtigheden omkring 90%. Enheden genkendte kun andre menneskers tale korrekt i 70-80% af tilfældene.
Indtil 90'erne var talegenkendelse baseret påskabeloner: lydbølger blev oversat til et sæt tal, og resultatet blev vist, når talen matchede prøven. Derfor, for den korrekte fortolkning af stemmesignaler, var det nødvendigt at eliminere baggrundsstøj, tale langsomt og tydeligt.
Den første talegenkender, der ikke krævede pauser mellem ordene, var Dragon's NaturallySpeaking. Den dukkede op i 1997 og er stadig i brug i dag.
Maskinlæring og AI-teknologier betydeligtforbedrede talegenkendelsessystemet og gjorde det muligt at tilpasse algoritmerne til den enkeltes individuelle kommunikationsmåde. Resultatet var fremkomsten af stemmeassistenter: Google Assistant, Siri fra Apple, Alexa fra Amazon, "Alice" fra Yandex. Derudover er der specielle applikationer, for eksempel ListNote, SpeechNotes, til talegenkendelse, oversættelse af en stemme til en tekstbesked. Nogle applikationer, såsom Speechlogger, kan endda udføre simultan oversættelse fra et sprog til et andet.
Ved hjælp af "Charlie" vil samtalepartnerne være i stand til at kommunikeremed hinanden uden at ty til en mellemmand. Derudover kan enheden bruges til fjernkommunikation, for eksempel til forelæsninger på universiteter eller afholdelse af møder. Det er nok for oplægsholderen at sætte "Charlie" ved siden af sig, og lytterne - at forbinde til programmet via linket. Den afkodede tale vil blive vist på skærmen på en smartphone eller computer i realtid.
Se verden igen
"Sensor-Tech" deltager også i videnskabelig forskning relateret til brugen af neuroteknologier til at returnere synet.
Det hele startede i 2016 på en internationalkonferencer i USA. Der mødtes repræsentanter for So-Unification Foundation med et amerikansk firma, der beskæftiger sig med bionisk vision. De blev enige om at udføre et eksperiment i Rusland for at implantere bioniske chips i blinde mennesker.
"Enheden er muligvis ikke anvendelig for alleaf blinde er dette en ret snæver pulje af sygdomme, hovedsageligt retinitis pigmentosa. Det ejendommelige er, at med det dør kun ét lag af celler, som omdanner lys til et elektrisk signal. Resten af cellerne forbliver i live,” forklarer Denis.
Retinitis pigmentosa- en arvelig sygdom forbundet medX-kromosom. Med denne patologi ødelægges de retinale celler, der samler billeder og overfører dem langs synsnerven til hjernen, gradvist. Sygdommen begynder med tab af side- og nattesyn og fører til sidst til fuldstændig blindhed. Der er ingen effektive forebyggende foranstaltninger mod retinitis pigmentosa, samt ingen behandlingsmetoder. Implantation af mikrochips er stadig under udvikling, og læger foreslår også, at genterapi og stamcellebehandling kan blive et gennembrud.
Som et resultat, i databaserne for So-Uniification og Art, Science and Sports fondene fundet to personer med den rigtige diagnose, derder var ingen samtidige patologier. I 2017 blev implantaterne installeret i Grigory Ulyanov og Antonina Zakharchenko. Midlerne til operationen blev tildelt af Alisher Usmanov Foundation.
Alisher Usmanov Foundation "Kunst, videnskab og sport"grundlagt i 2006. Finansierer uddannelsesmæssige og videnskabelige projekter (samarbejder med MGIMO, MISiS), støtter museer og teatre (Sovremennik, Tretyakov Gallery, Igor Moiseevs ensemble og andre). Fonden fremmer også sund livsstil og arrangerer konkurrencer, herunder for mennesker med handicap.
Under operationen lægges patientens nethindeimplantat med elektroder. Det er forbundet med specielle briller med indbygget kamera. Information fra kameraet overføres til en mikrocomputer, som behandler billedet og sender signaler til implantatet. Elektriske impulser overføres langs synsnerven til hjernen, hvor der dannes et billede.
Implantatet har 60 elektroder, som kan sammenlignes medet billede på 60 pixels - alt efter antallet af punkter stimuleret af implantatet. Med dens hjælp kan du få et billede af kun store nok genstande - vinduer, døre, borde, biler. Mindre genstande kan falde ud af den "matrix", der dannes af elektroderne, eller dataene er utilstrækkelige til at identificere dem.
Da patienten ikke har cellerne ansvarlige forfarvegengivelse, billedet er sort/hvidt. Men i sammenligning med fuldstændig blindhed, udvider selv et sådant begrænset syn fra en sund persons synspunkt betydeligt patienternes evner. De kan navigere i rummet selv under ukendte forhold uden hjælp udefra eller yderligere enheder og bliver ret uafhængige.
Sensor-Tech håbede, at operationen ville tillade detregistrere implantater i Rusland og stille dem til rådighed inden for rammerne af højteknologisk lægebehandling. Men der opstod et problem: Sundhedsministeriet vurderede, at to operationer ikke var nok til at drage en konklusion om implantaternes sikkerhed. Amerikanerne nægtede til gengæld at udføre yderligere eksperimenter, da der ikke var nogen garanti for, at denne metode i sidste ende ville blive godkendt.
"Med hensyn til øjenimplantater er historien slut.Men det er endda godt, for det har en fortsættelse i form af kortikale implantater, som placeres i hjernen. Det er der, den visuelle behandling af information finder sted. Chips kan bruges til enhver form for blindhed, i modsætning til øjen. Det er en mere højteknologisk løsning,” siger Denis.
Allerede i 2021 præsenterede virksomheden den førsteudvikling i en ny retning. Dette er det første ELVIS neuroimplantat til hjernen i Rusland; det hjælper med at genoprette synet for blinde og døvblinde mennesker. Enheden har et implantat, der er installeret i hjernen, en bøjle med to kameraer, der skal bæres på hovedet – de overtager øjnenes funktion og en mikrocomputer, der analyserer billedet og sender det til hjernen. Teknologien gør det muligt at skelne silhuetter af objekter, mennesker og at forstå placeringen af objekter.
Mens systemet testes på gnavere, vil test på aber følge. I 2024 planlægger 10 blinde frivillige at installere et kortikalt implantat.
Kortikale visuelle implantaterinstalleret i hjernebarken.De stimulerer de visuelle områder, hvilket resulterer i visuelle fornemmelser. Ifølge eksperter vil dette gøre det muligt at ændre billedernes lysstyrke og sikre farvegengivelse, hvilket er umuligt ved brug af bioniske implantater. De første operationer for at implantere kortikale implantater blev udført tilbage i 70'erne af forrige århundrede. Og i 2018 installerede det amerikanske firma Second Sight offentligt moderne neuroimplantater på de første blinde frivillige. Teknologien er under kliniske forsøg.
Videnskabelig forskning og oversøiske markeder
Blandt laboratoriecaserne er der andreudvikling. For eksempel blev der udviklet en gratis applikation til mobiltelefoner sammen med en mobiloperatør for at hjælpe blinde med at bestemme sedlernes pålydende værdi. Den er tilgængelig på iOS og Android.
For at finde ud af værdien af en seddel skal du blot rette dit smartphonekamera mod den. AI vil identificere pengesedlen og navngive den. Og hvis du peger kameraet mod flere regninger på samme tid, vil enheden straks beregne deres beløb.
Hvis applikationen bruges af en person medsyns- og hørehandicap, som ikke kan høre stemmeskuespillet, kan pålydende på en regning genkendes ved hjælp af vibration - for forskellige pålydende er deres egne tilstande tilvejebragt.
Hvis telefonen ikke kan genkende regningen, kan dutage et billede og tilføje det til databasen gennem funktionen "Hjælp til udviklere". Normalt opstår behovet for dette, når der udstedes nye eller sjældne erindringssedler.
Udover produktionen af enheder har Sensor-Techer engageret i videnskabelig forskning inden for døvblindhed. "Vi ønsker at få raske mennesker til at forstå, hvordan de, der har nedsat syn eller hørelse, opfatter verden generelt," siger Andrey.
Se dette opslag på Instagram
Så i laboratoriet skabte de simulatorer af krænkelserse: VR-simulator Se My World og dens mobile version SMW Pro. "Interferens" er overlejret på live-billedet eller på et statisk billede. Som et resultat bliver billedet forvrænget i overensstemmelse med den specifikke visuelle defekt. For eksempel bliver det sløret, eller der vises en sort plet i midten af billedet.
“Vi simulerer symptomerne på, hvordan en person medforskellige synsnedsættelser. Bogstaveligt talt: hvordan man ser gennem øjnene på en person, der har grå stær, nærsynethed, astigmatisme, glaukom, "siger Andrey. Ved hjælp af simulatoren kan du også spore sygdommens dynamik over tid. Dette hjælper læger og studerende til bedre at studere det kliniske billede, og patientens nære pårørende - bogstaveligt talt ser på verden gennem hans øjne.
"For at gøre billedet så nøjagtigt som muligt,for at skabe det, bruges det kliniske billede af sygdommen. Derudover afklarer vi resultatet med patienten, så han kan bekræfte, om han ser det, hvis hans syn ikke er alvorligt svækket endnu,” forklarer Andrey.
Nu vil udviklere gerne promovere deresenheder på det europæiske og amerikanske marked. Det er planen at lægge gadgetsene på Amazon og derudover at nå ud til offentlige organer og offentlige organisationer, der beskæftiger sig med handicappedes problemer. Denis er overbevist om, at markedet for anvendte udviklinger kun vil vokse. Og direktøren for Sensor-Tech-laboratoriet ser sin mission i at gøre livet lettere for mennesker med handicap takket være teknologi.
Læs mere:
AI løste et biologisk problem, som videnskabsmænd har kæmpet med i 50 år
Et millisekund i stedet for 30 billioner år for en opgave: Kina introducerede en ny kvantecomputer
Forskere leder efter mennesker, der ikke kan blive smittet med COVID-19. Ud fra deres data vil de lave en medicin