Denis Kuleshov- Directeur van het Sensor-Tech laboratorium.
Alexander Popov- hoofdontwerper
Andrey Demchinsky- Hoofd medische projecten bij Sensor-Tech.
Neurotechnologieën die beperkingen opheffen
Er loopt een man op straat.In de ene hand heeft hij een witte wandelstok, waarmee hij de weg voelt. In de andere is er een klein zwart object dat eruitziet als een videocamera. De man richt het eerst voor zich uit, dan naar de zijkanten. Voorbijgangers weten niet dat hij op dit moment in de oortelefoon prompts hoort: "Auto, afstand - 5 meter. Man, afstand - 3 meter."
Een andere persoon komt naar de MFC."Hallo", zegt de telefoniste met een glimlach, en dit woord verschijnt op het scherm dat naar de bezoeker is gericht. De man glimlacht terug en begint het probleem op het toetsenbord te typen, dat de telefoniste op het computerscherm zal lezen. Een intermediair tussen slechthorenden en de buitenwereld is een klein apparaatje dat spraak omzet in tekst.
Beide apparaten worden in het bedrijf ontwikkeld en geproduceerd"Sensor-Tech". De directeur Denis Kuleshov begon samen te werken met organisaties voor gehandicapten terwijl hij nog op het instituut was: hij hielp bij het uitvoeren van onderzoek. Gaandeweg besefte Denis dat hij in deze richting wilde werken en zich wilde ontwikkelen voor mensen met een beperking. Toen hij in 2014 werd aangeboden om mee te werken aan het wetenschappelijk onderzoek van de nieuwe stichting So-Unification, ging hij daarom meteen akkoord.
De Stichting Ondersteuning Doofblinden "So-Eenheid" is opgerichtapril 2014. Houdt zich bezig met de socialisatie van doofblinden: opent regionale steunpunten, creëert kansen voor werkgelegenheid, vrije tijd en creatieve zelfrealisatie; biedt juridische, psychologische en gerichte hulp.
Het fonds heeft verschillende projecten opgebouwd, waaronder:jeugd en wetenschappelijk, gerelateerd aan de problematiek van doofblindheid, waaraan Denis deelnam. "Op een gegeven moment werd besloten dat het veel effectiever en correcter zou zijn om dit te ontwikkelen in de vorm van een apart laboratorium dat zich op een gespecialiseerde manier met deze problemen bezighoudt", herinnert Kuleshov zich.
De nuances van huishoudelijke apparaten
In 2017 verscheen het Sensor-Tech laboratorium,die is opgericht door de So-Unification Foundation. Er werd meteen begonnen met het maken van gadgets voor slechthorenden en blinden. Hiervoor werd een subsidie toegekend van het Wetenschappelijk en Technologisch Initiatief in het kader van de Neuronet-roadmap.
Voorwaarde voor het ontvangen van de subsidie was cofinanciering van het project: 70% werd toegewezen door NTI, de rest van het geld moest door de ontwikkelaars zelf worden gevonden. De ontbrekende 30% werd geleverd door de So-Unification Foundation.
Het werk van het laboratorium moest helemaal opnieuw worden opgebouwd:vormden een ontwerpbureau en een proeffabriek, waar prototypes van apparaten werden geassembleerd. Het eerste probleem waarmee de ontwikkelaars worden geconfronteerd, is het gebrek aan ervaring met het maken van huishoudelijke apparaten. Hun eerdere ervaring in instrumentatie had voornamelijk betrekking op de defensie-industrie.
Het eerste prototype van een apparaat voor blinden bleek te zijnte omslachtig en onhandig in gebruik. Na feedback van gebruikers te hebben ontvangen, hebben de ontwikkelaars het serieus getransformeerd. Het was noodzakelijk om het apparaat zonder onderbrekingen te laten werken, handig en begrijpelijk te gebruiken.
Nu heeft het laboratorium een apparaat ontwikkeld voor blinden en slechtzienden - "Robin" en een apparaat voor mensen met een gehoorbeperking - "Charlie".
“De markt voor apparaten voor mensen met een beperking is niet erg groot,alle productie is kleinschalig en duur”, zegt Denis. Dit is de reden voor de vrij hoge prijs van de apparaten: "Robin" kost 150 duizend roebel, "Charlie" - 195 duizend roebel. Daarom onderhandelen fabrikanten met de overheid om hun uitvindingen op te nemen in de lijst van middelen voor technisch herstel - in dit geval vergoedt de overheid de aanschafkosten.
Vertel me wat je ziet
Uiterlijk lijkt "Robin" op een draagbare camera.Sensoren scannen objecten en kunstmatige intelligentie bepaalt wat zich voor de gebruiker bevindt - een auto, een tafel, een computer of een andere persoon. In totaal staan er meer dan 50 objecten in het geheugen van het apparaat. Als je daar foto's uploadt, herkent het de persoon en zegt het zijn naam. Om "Robin" in het donker te gebruiken, werd er een zaklamp in ingebouwd. In dit geval geeft de gadget niet alleen een naam aan het object, maar schat hij ook de afstand ernaartoe.
De eerste release van "Robin" was niet succesvol.Om het apparaat een object te laten detecteren, was het nodig om het apparaat te richten, op de knop te drukken en minimaal 2 seconden te wachten. Maar dat bleek onhandig voor gebruikers: direct na het indrukken van de knop begonnen ze het toestel heen en weer te rijden. Hierdoor bleek de informatie van "Robin" niet relevant: hij beschreef objecten die hij herkende voordat hij werd verplaatst.
“We wisten hoe we het apparaat moesten helpen en waar wedirect, en mensen hadden die ervaring niet. Hierdoor leek het hun dat het apparaat niet goed werkte', legt Alexander uit. Toen besloten de ontwikkelaars om het principe van werk te veranderen. De feedbacktijd van het apparaat werd teruggebracht tot een seconde, terwijl de "Robin" alleen werkte als de knop werd ingedrukt. Deze optie bleek duidelijker en makkelijker voor gebruikers.
“Er zijn geen directe concurrenten, dat wil zeggen apparaten met dezelfde functies, op de markt. Maar er zijn analogen, bijvoorbeeld OrCam, 'zegt Alexander.
OrCam MyEye en OrCam MyReader- draagbare kunstmatige zichtapparatuur,die worden geproduceerd door het gelijknamige Israëlische bedrijf. Het is een kleine draadloze camera die aan de brilpoot kan worden bevestigd. Het eerste apparaat leest gedrukte en digitale tekst, productbarcodes, herkent gezichten en spreekt de ontvangen informatie uit. De tweede wordt alleen gebruikt voor het lezen van teksten. De gadgets ondersteunen 17 talen en vereisen geen internetverbinding.
Stem verandert in tekst
"Charlie" is bedoeld voor mensen met problemen methoren. Mensen met ervaring in het lesgeven aan slechthorenden namen deel aan de ontwikkeling ervan. Daarom waren de ontwikkelaars zich bewust van de moeilijkheden die zich voordoen in het communicatieproces en de verzoeken van beide partijen.
Het apparaat pikt spraak op op een afstand van 2 m engeeft het op het scherm weer als tekst. De gadget kan ook worden gebruikt door doofblinden - hiervoor is een brailleleesregel aangesloten op de "Charlie". Hiermee kunt u informatie met uw vingers lezen en een reactie invoeren.
Braille werd ontwikkeld in 1824.Het is een systeem van convexe punten en holtes daartussen. Elk karakter is gecodeerd met behulp van een 3x2 trellis. De combinatie van stippen in elke cel komt overeen met een letter of leesteken. Als de tekst het schrift verandert, bijvoorbeeld van Latijn naar Cyrillisch, wordt dit ook aangegeven met een speciaal symbool.
De ontwikkelaars zeggen dat analogen van "Charlie" opde markt ook niet. Talloze programma's die spraak in tekst vertalen, zijn in de eerste plaats ontworpen voor interactie tussen mens en computer, en niet voor twee mensen om met elkaar te communiceren.
De eerste machine met spraakherkenningverscheen in de jaren 50 binnen de muren van Bell Labs. Het apparaat bepaalde getallen van nul tot negen. Tegelijkertijd begreep de machine de uitvinder veel beter: toen hij sprak, was de reproductienauwkeurigheid ongeveer 90%. Het apparaat herkende de spraak van andere mensen slechts in 70-80% van de gevallen correct.
Tot de jaren 90 was spraakherkenning gebaseerd op:sjablonen: geluidsgolven werden vertaald in een reeks getallen en het resultaat werd weergegeven wanneer spraak overeenkwam met het voorbeeld. Daarom was het voor de juiste interpretatie van spraaksignalen vereist om achtergrondgeluid te elimineren, langzaam en duidelijk te spreken.
De eerste spraakherkenner waarbij geen pauzes tussen woorden nodig waren, was Dragon's NaturallySpeaking. Het verscheen in 1997 en is nog steeds in gebruik.
Machine learning en AI-technologieën aanzienlijkverbeterde het spraakherkenningssysteem en maakte het mogelijk om de algoritmen aan te passen aan de individuele manier van communiceren van elke persoon. Het resultaat was de opkomst van stemassistenten: Google Assistant, Siri van Apple, Alexa van Amazon, "Alice" van Yandex. Daarnaast zijn er speciale toepassingen, bijvoorbeeld ListNote, SpeechNotes, voor spraakherkenning, vertaling van een stem naar een tekstbericht. Sommige toepassingen, zoals Speechlogger, kunnen zelfs simultaanvertaling van de ene taal naar de andere uitvoeren.
Met de hulp van "Charlie" kunnen de gesprekspartners communicerenmet elkaar, zonder een tussenpersoon in te schakelen. Daarnaast kan het apparaat worden gebruikt voor communicatie op afstand, bijvoorbeeld voor lezingen op universiteiten of het houden van vergaderingen. Het is voldoende voor de presentator om "Charlie" naast hem te plaatsen, en de luisteraars - om via de link verbinding te maken met het programma. De gedecodeerde spraak wordt in realtime weergegeven op het scherm van een smartphone of computer.
Zie de wereld weer
Ook neemt "Sensor-Tech" deel aan wetenschappelijk onderzoek met betrekking tot het gebruik van neurotechnologieën voor de terugkeer van het gezichtsvermogen.
Het begon allemaal in 2016 op een internationaleconferenties in de VS. Daar ontmoetten vertegenwoordigers van de So-Unification Foundation een Amerikaans bedrijf dat zich bezighoudt met bionische visie. Ze kwamen overeen om in Rusland een experiment uit te voeren om bionische chips bij blinde mensen te implanteren.
"Het apparaat is mogelijk niet voor iedereen van toepassingvan de blinden is dit een vrij smalle poel van ziekten, voornamelijk retinitis pigmentosa. Het bijzondere is dat daarbij slechts één laag cellen afsterft, die licht omzet in een elektrisch signaal. De rest van de cellen blijft in leven', legt Denis uit.
Retinitis pigmentosa- een erfelijke ziekte geassocieerd metX-chromosoom. Met deze pathologie worden de netvliescellen die beelden verzamelen en deze langs de oogzenuw naar de hersenen verzenden geleidelijk vernietigd. De ziekte begint met verlies van zij- en nachtzicht en leidt uiteindelijk tot volledige blindheid. Er zijn geen effectieve preventieve maatregelen tegen retinitis pigmentosa, en ook geen behandelmethoden. De implantatie van microchips is nog in ontwikkeling, en artsen suggereren ook dat gentherapie en stamcelbehandeling een doorbraak kunnen worden.
Hierdoor zijn in de databases van de So-Unificatie en Kunst, Wetenschap en Sport fondsen vond twee mensen met de juiste diagnose dieer waren geen bijkomende pathologieën. In 2017 werden de implantaten geïnstalleerd in Grigory Ulyanov en Antonina Zakharchenko. De fondsen voor de operatie werden toegewezen door de Alisher Usmanov Foundation.
Stichting Alisher Usmanov "Kunst, Wetenschap en Sport"opgericht in 2006. Financiert educatieve en wetenschappelijke projecten (werkt samen met MGIMO, MISiS), ondersteunt musea en theaters (Sovremennik, Tretyakov Gallery, Igor Moiseev's ensemble en anderen). De stichting bevordert ook een gezonde levensstijl en organiseert wedstrijden, ook voor mensen met een handicap.
Tijdens de operatie wordt het netvlies van de patiënt geplaatstimplantaat met elektroden. Het wordt geassocieerd met een speciale bril met een ingebouwde camera. Informatie van de camera wordt doorgestuurd naar een microcomputer, die het beeld verwerkt en signalen naar het implantaat stuurt. Elektrische impulsen worden via de oogzenuw naar de hersenen gestuurd, waar een beeld wordt gevormd.
Het implantaat heeft 60 elektroden, te vergelijken met:een afbeelding van 60 pixels - volgens het aantal punten dat door het implantaat wordt gestimuleerd. Met zijn hulp kunt u een afbeelding krijgen van alleen objecten die groot genoeg zijn - ramen, deuren, tafels, auto's. Kleinere objecten kunnen uit de "matrix" vallen die de elektroden vormen, of de gegevens zijn onvoldoende om ze te identificeren.
Omdat de patiënt niet de cellen heeft die verantwoordelijk zijn voorkleurweergave, het beeld is zwart-wit. Maar in vergelijking met volledige blindheid, vergroot zelfs zo'n beperkt zicht vanuit het oogpunt van een gezond persoon de mogelijkheden van patiënten aanzienlijk. Ze kunnen zelfs in onbekende omstandigheden door de ruimte navigeren zonder hulp van buitenaf of extra apparaten en worden behoorlijk onafhankelijk.
Sensor-Tech hoopte dat de operatie het mogelijk zou makenimplantaten in Rusland registreren en beschikbaar stellen in het kader van hoogtechnologische medische zorg. Maar er deed zich een probleem voor: het ministerie van Volksgezondheid vond dat twee operaties niet voldoende waren om een conclusie te trekken over de veiligheid van de implantaten. De Amerikanen weigerden op hun beurt verdere experimenten uit te voeren, omdat er geen garantie was dat deze methode uiteindelijk zou worden goedgekeurd.
“Wat betreft oogimplantaten is het verhaal voorbij.Maar dit is zelfs goed, omdat het een voortzetting heeft in de vorm van corticale implantaten, die in de hersenen worden geplaatst. Daar vindt de visuele verwerking van informatie plaats. Chips kunnen worden gebruikt voor elke vorm van blindheid, in tegenstelling tot ogen. Dit is een meer hightech oplossing”, zegt Denis.
Al in 2021 presenteerde het bedrijf de eersteontwikkeling in een nieuwe richting. Dit is het eerste ELVIS-neuro-implantaat voor de hersenen in Rusland; het helpt blinden en doofblinden het gezichtsvermogen te herstellen. Het apparaat heeft een implantaat dat in de hersenen wordt geïnstalleerd, een hoepel met twee camera's die op het hoofd worden gedragen - ze nemen de functie van de ogen over en een microcomputer die het beeld analyseert en naar de hersenen stuurt. De technologie maakt het mogelijk om de silhouetten van objecten, mensen te onderscheiden en de locatie van objecten te begrijpen.
Terwijl het systeem wordt getest op knaagdieren, volgen tests op apen. In 2024 zijn 10 blinde vrijwilligers van plan om een corticaal implantaat te installeren.
Corticale visuele implantatengeïnstalleerd in de hersenschors.Ze stimuleren de visuele gebieden, wat resulteert in visuele sensaties. Volgens deskundigen zal dit het mogelijk maken om de helderheid van beelden te veranderen en de kleurweergave te garanderen, wat onmogelijk is bij het gebruik van bionische implantaten. De eerste operaties om corticale implantaten te implanteren werden al in de jaren 70 van de vorige eeuw uitgevoerd. En in 2018 installeerde het Amerikaanse bedrijf Second Sight publiekelijk moderne neuro-implantaten bij de eerste blinde vrijwilligers. De technologie ondergaat klinische tests.
Wetenschappelijk onderzoek en overzeese markten
Onder de laboratoriumgevallen zijn er anderenontwikkeling. Zo is er samen met een mobiele operator een gratis applicatie voor mobiele telefoons ontwikkeld om blinden te helpen de denominatie van bankbiljetten te bepalen. Het is beschikbaar op iOS en Android.
Om de denominatie van een biljet te weten te komen, richt u gewoon de camera van uw smartphone erop. De AI zal het bankbiljet identificeren en een naam geven. En als je de camera op meerdere rekeningen tegelijk richt, berekent het toestel meteen het bedrag.
Als de applicatie wordt gebruikt door een persoon met:gezichts- en gehoorbeperkingen, die de stem niet kunnen horen, de waarde van de rekening kan worden herkend met behulp van trillingen - voor verschillende denominaties zijn hun eigen modi voorzien.
Als de telefoon de rekening niet herkent, kunt u:maak een foto en voeg deze toe aan de database via de functie "Help voor ontwikkelaars". Meestal ontstaat de behoefte hieraan bij het uitgeven van nieuwe of zeldzame herdenkingsbiljetten.
Naast de productie van apparaten, heeft Sensor-Techhouden zich bezig met wetenschappelijk onderzoek op het gebied van doofblindheid. "We willen gezonde mensen laten begrijpen hoe slechtzienden of slechthorenden de wereld in het algemeen waarnemen", zegt Andrey.
Bekijk dit bericht op Instagram
Dus in het laboratorium creëerden ze simulatoren van overtredingenweergave: VR-simulator See My World en de mobiele versie SMW Pro. "Interferentie" wordt op het live-beeld of op een statisch beeld gesuperponeerd. Als gevolg hiervan wordt het beeld vervormd volgens het specifieke visuele defect. Het wordt bijvoorbeeld wazig of er verschijnt een zwarte vlek in het midden van het beeld.
“We simuleren de symptomen van hoe een persoon metverschillende visuele beperkingen. Letterlijk: hoe te kijken door de ogen van een persoon met staar, bijziendheid, astigmatisme, glaucoom ", zegt Andrey. Ook kunt u met behulp van de simulator de dynamiek van de ziekte in de loop van de tijd volgen. Dit helpt artsen en studenten om het klinische beeld beter te bestuderen, en de naaste familieleden van de patiënt - letterlijk door zijn ogen naar de wereld te kijken.
“Om het beeld zo nauwkeurig mogelijk te maken,om het te creëren, wordt het klinische beeld van de ziekte gebruikt. Daarnaast verduidelijken we het resultaat met de patiënt, zodat hij kan bevestigen of hij het ziet, als zijn gezichtsvermogen nog niet ernstig is aangetast', legt Andrey uit.
Nu willen ontwikkelaars hunapparaten op de Europese en Amerikaanse markt. Het is de bedoeling de gadgets op Amazon te plaatsen en daarnaast overheidsinstanties en publieke organisaties te bereiken die zich bezighouden met de problemen van mensen met een handicap. Denis heeft er alle vertrouwen in dat de markt voor toegepaste ontwikkelingen alleen maar zal groeien. En de directeur van het Sensor-Tech laboratorium ziet zijn missie om het leven van mensen met een beperking dankzij technologie gemakkelijker te maken.
Lees verder:
AI lost een biologisch probleem op waar wetenschappers al 50 jaar mee worstelen
Een milliseconde in plaats van 30 biljoen jaar voor een taak: China introduceerde een nieuwe kwantumcomputer
Wetenschappers zijn op zoek naar mensen die niet besmet kunnen worden met COVID-19. Op basis van hun gegevens gaan ze een medicijn maken