Denis Kuleshov- Direktör för Sensor-Tech-laboratoriet.
Alexander Popov- chefsdesigner
Andrey Demchinsky- Chef för medicinska projekt på Sensor-Tech.
Neuroteknik som tar bort restriktioner
En man går på gatan.I ena handen har han en vit käpp som han känner vägen med. I den andra finns ett litet svart föremål som ser ut som en videokamera. En person riktar den framför sig, sedan åt sidorna. Förbipasserande vet inte att han i det ögonblicket hör antydningar i hörluren: ”Bil, avståndet är 5 meter. Man, avstånd - 3 meter.
En annan person kommer till MFC."Hej", säger operatören med ett leende och detta ord dyker upp på skärmen vänd mot besökaren. Personen ler tillbaka och börjar skriva problemet på tangentbordet, som operatören kommer att läsa på datorskärmen. En mellanhand mellan hörselskadade och omvärlden är en liten apparat som omvandlar tal till text.
Båda instrumenten är designade och tillverkade av företaget"Sensor-Tech". Dess direktör Denis Kuleshov började samarbeta med organisationer för funktionshindrade medan han fortfarande studerade vid institutet: han hjälpte till att bedriva forskning. Gradvis insåg Denis att han ville arbeta i denna riktning och engagera sig i utvecklingen för personer med funktionsnedsättning. Därför, när han 2014 erbjöds att gå med i den vetenskapliga forskningen av den nya "Connection"-fonden, gick han omedelbart med.
Stiftelsen för stöd till dövblinda "Connection" bildadesi april 2014. Engagerad i socialiseringen av dövblinda: öppnar regionala stödcentrum, skapar möjligheter till sysselsättning, fritid och kreativt självförverkligande; ger juridisk, psykologisk och riktad hjälp.
Stiftelsen har samlat på sig olika projekt, bl.aungdomar och vetenskapliga, relaterade till frågorna om dövblindhet, där Denis deltog. "Vid någon tidpunkt bestämde vi oss för att det skulle vara mycket mer effektivt och korrekt att utveckla detta i formatet av ett separat laboratorium som hanterar dessa frågor på ett specialiserat sätt", minns Kuleshov.
Nyanserna av hushållsapparater
2017 dök Sensor-Tech-laboratoriet upp,vars grundare var stiftelsen "So-edinenie". Genast började arbetet med att skapa prylar för hörselskadade och blinda. Ett bidrag från Science and Technology Initiative tilldelades för detta som en del av Neuronets färdplan.
Villkoret för att få bidrag var medfinansiering av projektet: 70 % tilldelades av NTI, exploatörerna fick hitta resten av pengarna själva. De saknade 30 % tillhandahölls av unionsfonden.
Laboratoriets arbete måste byggas från grunden:bildade ett designkontor och pilotproduktion, där prototyper av enheter monterades. Det första problemet som utvecklarna stod inför var bristen på erfarenhet av att skapa hushållsapparater. Deras tidigare erfarenhet av instrumentteknik var främst relaterad till försvarsindustrin.
Den första prototypen av en anordning för blinda visade sig varaför skrymmande och besvärlig att använda. Efter att ha fått feedback från användare har utvecklarna på allvar förändrat det. Det var nödvändigt att få enheten att fungera utan avbrott, vara bekväm och förståelig vid användning.
Nu har laboratoriet tagit fram en apparat för blinda och synskadade - "Robin" och en apparat för personer med hörselnedsättning - "Charlie".
"Marknaden för enheter för funktionshindrade är inte särskilt stor,all produktion är småskalig och dyr”, säger Denis. Detta är anledningen till det ganska höga priset på enheter: "Robin" kostar 150 tusen rubel, "Charlie" - 195 tusen rubel. Därför förhandlar tillverkare med regeringen så att deras uppfinningar ingår i listan över medel för teknisk rehabilitering - i det här fallet kompenserar staten för inköpskostnaderna.
Säg vad du ser
Externt liknar "Robin" en bärbar kamera.Sensorer skannar objekt och artificiell intelligens avgör att användaren befinner sig framför en bil, ett bord, en dator eller en annan person. Totalt finns det mer än 50 objekt i enhetens minne. Om du laddar upp bilder dit kommer den att känna igen personen och ropa upp hans namn. För att använda "Robin" i mörkret byggdes en ficklampa in i den. Samtidigt namnger gadgeten inte bara objektet utan uppskattar också avståndet till det.
Den första releasen av "Robin" misslyckades.För att enheten skulle identifiera objektet var det nödvändigt att rikta enheten, trycka på knappen och vänta minst 2 sekunder. Men det visade sig att detta var obekvämt för användare: omedelbart efter att ha tryckt på knappen började de köra enheten från sida till sida. På grund av detta visade sig informationen från "Robin" vara irrelevant: han beskrev föremålen som han kände igen innan han flyttades.
"Vi visste hur vi skulle hjälpa enheten och var vi skulledirekt, och folk hade ingen sådan erfarenhet. På grund av detta verkade det för dem som att enheten inte fungerade bra, förklarar Alexander. Sedan bestämde sig utvecklarna för att ändra driftprincipen. Återkopplingstiden från enheten reducerades till en sekund, medan "Robin" fungerade bara när knappen trycktes ned. Det här alternativet visade sig vara tydligare och enklare för användarna.
”Det finns inga direkta konkurrenter, det vill säga enheter med samma funktioner, på marknaden. Men det finns analoger, till exempel OrCam, säger Alexander.
OrCam MyEye och OrCam MyReader- bärbara anordningar för artificiell syn,som produceras av det israeliska företaget med samma namn. De är en liten trådlös kamera som kan fästas på glasögontinningen. Den första enheten läser tryckt och digital text, produktstreckkoder, känner igen ansikten och talar den mottagna informationen. Den andra används endast för att läsa texter. Gadgetarna stöder 17 språk och kräver ingen internetanslutning.
Rösten förvandlas till text
"Charlie" är för personer med psykiska problem.hörsel. Den har utvecklats av personer med erfarenhet av undervisning för hörselskadade. Därför var utvecklarna medvetna om de svårigheter som uppstår i kommunikationsprocessen och förfrågningar från båda parter.
Enheten tar upp tal på ett avstånd av 2 m ochvisar det på skärmen som text. Prylen kan även användas av dövblinda – för detta kopplas en punktskriftsskärm till Charlie. Den låter dig läsa informationen med fingrarna och ange svaret.
Punktskrift utvecklades 1824.Detta är ett system av konvexa punkter och tomrum mellan dem. Varje symbol är kodad med ett 3x2 gitter. Kombinationen av punkter i varje cell motsvarar en bokstav eller ett skiljetecken. Om det finns en skriftändring i texten, till exempel från latin till kyrilliska, indikeras detta också med en speciell symbol.
Utvecklarna säger att analoger av "Charlie" påheller ingen marknad. Många program som översätter tal till text är i första hand utformade för interaktion mellan människa och dator, och inte för att två personer ska kommunicera med varandra.
Den första maskinen som kan röstigenkänningdök upp på 50-talet inom Bell Labs väggar. Enheten bestämde siffrorna från noll till nio. Samtidigt förstod maskinen uppfinnaren mycket bättre: när han talade var återgivningsnoggrannheten cirka 90%. Andra människors tal kändes korrekt igen av enheten endast i 70–80% av fallen.
Fram till 1990-talet byggde taligenkänning påmönster: ljudvågor översattes till en uppsättning siffror, och resultatet visades när talet matchade provet. Därför, för korrekt tolkning av röstsignaler, var det nödvändigt att eliminera bakgrundsljud, tala långsamt och tydligt.
Den första taligenkännaren som inte krävde pauser mellan orden var Dragon's NaturallySpeaking. Den dök upp 1997 och används än idag.
Maskininlärning och AI-teknik är betydandeförbättrade taligenkänningssystemet och gjorde det möjligt att anpassa algoritmerna till varje persons individuella kommunikationssätt. Resultatet var framväxten av röstassistenter: Google Assistant, Siri från Apple, Alexa från Amazon, Alice från Yandex. Dessutom finns det speciella applikationer, som ListNote, SpeechNotes, för taligenkänning, översättning av röst till ett textmeddelande. Vissa applikationer, som Speechlogger, kan till och med utföra simultanöversättning från ett språk till ett annat.
Med hjälp av "Charlie" kommer samtalspartner att kunna kommuniceramed varandra utan att tillgripa en mellanhand. Dessutom kan enheten användas för fjärrkommunikation, till exempel för föreläsningar på universitet eller möten. Det räcker med att talaren sätter "Charlie" bredvid sig, och att lyssnarna kopplar upp sig till programmet via länken. Det transkriberade talet kommer att visas på skärmen på en smartphone eller dator i realtid.
Se världen igen
Sensor-Tech deltar också i vetenskaplig forskning om användningen av neuroteknik för att återställa synen.
Allt började 2016 på internationellakonferenser i USA. På den fick representanter för "Unification" Foundation bekanta sig med ett amerikanskt företag som är engagerat i bionisk vision. De kom överens om att genomföra ett experiment i Ryssland för att implantera bioniska chips i blinda.
Enheten kanske inte passar allablind, det är en ganska smal pool av sjukdomar, främst retinitis pigmentosa. Det speciella är att med det dör bara ett lager av celler, vilket omvandlar ljus till en elektrisk signal. Resten av cellerna förblir vid liv”, förklarar Denis.
retinitis pigmentosa- en ärftlig sjukdom i samband medX-kromosom. Med denna patologi förstörs näthinnecellerna som samlar bilder och överför dem längs synnerven till hjärnan gradvis. Sjukdomen börjar med förlust av sido- och mörkerseende och leder så småningom till fullständig blindhet. Det finns inga effektiva förebyggande åtgärder mot retinitis pigmentosa, liksom inga behandlingsmetoder. Implantation av mikrochips är fortfarande under utveckling, och läkare föreslår också att genterapi och stamcellsbehandling kan bli ett genombrott.
Som ett resultat, i grunderna för fonderna "Connection" och "Art, Science and Sports" hittat två personer med önskad diagnos, som hardet fanns inga samsjukligheter. Under 2017 installerades implantat för Grigory Ulyanov och Antonina Zakharchenko. Medel för operationen tilldelades av Alisher Usmanov Foundation.
Alisher Usmanov Foundation "Konst, vetenskap och sport"grundades 2006. Det finansierar utbildnings- och vetenskapliga projekt (samarbetar med MGIMO, MISiS), stöder museer och teatrar (Sovremennik, Tretyakov Gallery, Igor Moiseev Ensemble och andra). Stiftelsen främjar även en hälsosam livsstil och anordnar tävlingar, bland annat för personer med funktionsnedsättning.
Under operationen är patientens näthinnaimplantat med elektroder. Det är förknippat med speciella glasögon med inbyggd kamera. Information från kameran överförs till en mikrodator, som bearbetar bilden och skickar signaler till implantatet. Elektriska impulser överförs längs synnerven till hjärnan, där en bild bildas.
Det finns 60 elektroder i implantatet, vilket kan jämföras meden bild på 60 pixlar - beroende på antalet punkter som stimuleras av implantatet. Med dess hjälp kan du få en bild av endast ganska stora föremål - fönster, dörrar, bord, bilar. Mindre föremål kan falla ut ur "matrisen" som elektroderna bildar, eller så finns det inte tillräckligt med data för att identifiera dem.
Eftersom patienten inte har celler ansvariga förfärgåtergivning, bilden är svartvit. Men jämfört med fullständig blindhet, utökar även en sådan begränsad syn från en frisk persons synvinkel patienters möjligheter avsevärt. De kan navigera i rymden även under okända förhållanden utan hjälp utifrån eller ytterligare enheter och blir ganska oberoende.
Sensor-Tech hoppades att operationen skulle tillåtaregistrera implantat i Ryssland och göra dem tillgängliga som en del av högteknologisk sjukvård. Men ett problem uppstod: hälsoministeriet ansåg att två operationer inte räckte för att dra slutsatsen att implantaten var säkra. Amerikanerna vägrade i sin tur att genomföra ytterligare experiment, eftersom det inte fanns någon garanti för att denna metod så småningom skulle godkännas.
"När det gäller ögonimplantat är historien över.Men detta är till och med bra, eftersom det har en fortsättning i form av kortikala implantat som placeras i hjärnan. Det är här visuell bearbetning sker. Chips kan användas för alla typer av blindhet, till skillnad från ögon. Det här är en mer högteknologisk lösning, säger Denis.
Redan 2021 introducerade företaget den förstautveckling i en ny riktning. Detta är det första ELVIS hjärnneuroimplantatet i Ryssland, det hjälper till att återställa synen för blinda och dövblinda personer. Enheten har ett implantat som är installerat i hjärnan, ett pannband med två kameror som måste bäras på huvudet – de tar på sig ögonens funktion och en mikrodator som analyserar bilden och överför den till hjärnan. Tekniken gör att du kan särskilja silhuetter av objekt, människor och förstå var objekten befinner sig.
Medan systemet testas på gnagare kommer tester på apor att följa. År 2024 planeras ett kortikalt implantat att installeras på tio blinda frivilliga.
Kortikala visuella implantatinstallerad i hjärnbarken.De stimulerar synområdena, vilket resulterar i synförnimmelser. Enligt experter kommer detta att göra det möjligt att ändra ljusstyrkan på bilder och säkerställa färgåtergivning, vilket är omöjligt när man använder bioniska implantat. De första operationerna för att implantera kortikala implantat utfördes redan på 70-talet av förra seklet. Och 2018 installerade det amerikanska företaget Second Sight offentligt moderna neuroimplantat på de första blinda frivilliga. Tekniken genomgår kliniska prövningar.
Vetenskaplig forskning och utländska marknader
Bland laboratoriefallen finns andrautveckling. Tillsammans med en mobiloperatör utvecklades till exempel en gratisapplikation för mobiltelefoner för att hjälpa blinda att bestämma sedlarnas valör. Den är tillgänglig på iOS och Android.
För att ta reda på sedelns valör, rikta bara kameran på din smartphone mot den. AI kommer att identifiera sedeln och namnge den. Och om du riktar kameran mot flera räkningar samtidigt, kommer enheten omedelbart att beräkna deras belopp.
Om applikationen används av en person medsynskadade och hörselskadade, som inte kan höra rösten, kan valören på en sedel kännas igen med hjälp av vibrationer - olika valörer har sina egna lägen.
Om telefonen inte kan känna igen räkningen kan det vara detta en bild och lägg till den i databasen genom funktionen "Hjälp till utvecklare". Vanligtvis uppstår behovet av detta vid utgivning av nya eller sällsynta jubileumssedlar.
Utöver produktionen av apparater har Sensor-Techengagerad i vetenskaplig forskning inom området dövblindhet. "Vi vill göra det klart för friska människor hur de som har nedsatt syn eller hörsel i allmänhet uppfattar världen", säger Andrey.
Se detta inlägg på Instagram
Så i laboratoriet skapades simulatorer av kränkningarvision: VR-simulator Se My World och dess mobila version SMW Pro. "Brus" överlagras på realtidsbilden eller den statiska bilden. Som ett resultat förvrängs bilden i enlighet med en specifik visuell defekt. Till exempel blir det suddigt eller en svart fläck visas i mitten av bilden.
”Vi simulerar symptomen på hur en person medolika synnedsättningar. Bokstavligen: hur man ser genom ögonen på en person som har grå starr, myopi, astigmatism, glaukom, säger Andrey. Med hjälp av simulatorn kan du också spåra sjukdomens dynamik över tid. Detta hjälper läkare och studenter att bättre förstå den kliniska bilden, och nära släktingar till patienten - bokstavligen titta på världen genom hans ögon.
"För att bilden ska vara så tillförlitlig som möjligt,för att skapa den används den kliniska bilden av sjukdomen. Dessutom klargör vi resultatet av patienten så att han bekräftar om han ser så här, om hans syn ännu inte är allvarligt skadad, förklarar Andrey.
Nu vill utvecklare marknadsföra sinaenheter på marknaderna i Europa och USA. Det är planerat att lägga ut prylar på Amazon och dessutom gå till statliga myndigheter och offentliga organisationer som hanterar funktionshindrades problem. Denis är övertygad om att marknaden för applikationsutveckling bara kommer att växa. Och direktören för Sensor-Tech-laboratoriet ser sitt uppdrag i att göra livet för personer med funktionshinder enklare tack vare tekniken.
Läs mer:
AI löste ett biologiskt problem som forskare har kämpat mot i 50 år
En millisekund istället för 30 biljoner år för en uppgift: Kina introducerade en ny kvantdator
Forskare letar efter människor som inte kan smittas av covid-19. Baserat på deras data kommer de att göra ett läkemedel