Denis Kuleshov- Direktor des Sensor-Tech-Labors.
Alexander Popov— Chefdesigner
Andrey Demchinsky— Leiter medizinischer Projekte bei Sensor-Tech.
Neurotechnologien, die Einschränkungen aufheben
Ein Mann geht die Straße entlang.In einer Hand hat er einen weißen Stock, mit dem er den Weg ertastet. In der anderen befindet sich ein kleines schwarzes Objekt, das wie eine Videokamera aussieht. Der Mann richtet es zuerst vor sich her, dann seitlich. Passanten wissen nicht, dass er in diesem Moment im Hörer die Ansagen hört: „Auto, Entfernung – 5 Meter. Mann, Abstand - 3 Meter."
Eine andere Person kommt zum MFC.„Hallo“, sagt der Operator mit einem Lächeln, und dieses Wort erscheint auf dem Bildschirm, der dem Besucher zugewandt ist. Der Mann lächelt zurück und beginnt, das Problem auf der Tastatur zu tippen, das der Bediener auf dem Computermonitor liest. Ein Mittler zwischen Hörgeschädigten und der Außenwelt ist ein kleines Gerät, das Sprache in Text umwandelt.
Beide Geräte werden im Unternehmen entwickelt und hergestelltSensor-Tech. Sein Direktor Denis Kuleshov begann bereits am Institut mit Organisationen für behinderte Menschen zusammenzuarbeiten: Er half bei der Forschung. Nach und nach erkannte Denis, dass er in diese Richtung arbeiten und sich für Menschen mit Behinderungen entwickeln wollte. Als ihm 2014 angeboten wurde, an der wissenschaftlichen Forschung der neuen Stiftung So-Unification teilzunehmen, stimmte er daher sofort zu.
Gründung der Stiftung zur Unterstützung von Taubblinden "So-Unity"im April 2014. Beschäftigt sich mit der Sozialisation von Taubblinden: öffnet regionale Förderzentren, schafft Möglichkeiten für Beschäftigung, Freizeit und kreative Selbstverwirklichung; bietet rechtliche, psychologische und gezielte Hilfe.
Der Fonds hat verschiedene Projekte angesammelt, darunterJugend und Wissenschaft, bezogen auf das Thema Taubblindheit, an dem Denis teilnahm. „Irgendwann wurde entschieden, dass es viel effektiver und richtiger wäre, dies in Form eines separaten Labors zu entwickeln, das sich spezialisiert mit diesen Fragen befasst“, erinnert sich Kuleshov.
Die Nuancen von Haushaltsgeräten
2017 erschien das Sensor-Tech-Labor,die von der So-Unification Foundation gegründet wurde. Sofort wurde mit der Entwicklung von Geräten für Hörgeschädigte und Blinde begonnen. Dafür wurde im Rahmen der Neuronet-Roadmap ein Stipendium der Scientific and Technological Initiative vergeben.
Bedingung für den Erhalt des Zuschusses war die Kofinanzierung des Projekts: 70 % wurden von NTI bereitgestellt, den Rest mussten die Entwickler selbst aufbringen. Die fehlenden 30% wurden von der So-Unification Foundation zur Verfügung gestellt.
Die Arbeit des Labors musste von Grund auf neu aufgebaut werden:bildeten ein Konstruktionsbüro und eine Pilotanlage, in der Prototypen von Geräten zusammengebaut wurden. Das erste Problem, mit dem die Entwickler konfrontiert sind, ist die mangelnde Erfahrung bei der Herstellung von Haushaltsgeräten. Ihre bisherigen Erfahrungen in der Instrumentierung bezogen sich hauptsächlich auf die Verteidigungsindustrie.
Der erste Prototyp eines Blindengerätes warzu umständlich und unbequem in der Handhabung. Nachdem die Entwickler Feedback von Benutzern erhalten haben, haben sie es ernsthaft verändert. Es war notwendig, dass das Gerät ohne Unterbrechungen funktioniert, bequem und verständlich zu bedienen ist.
Nun hat das Labor ein Gerät für Blinde und Sehbehinderte – „Robin“ und ein Gerät für Menschen mit Hörbehinderung – „Charlie“ entwickelt.
„Der Markt für Geräte für Menschen mit Behinderungen ist nicht sehr groß,die gesamte Produktion ist klein und teuer “, sagt Denis. Dies ist der Grund für den recht hohen Preis der Geräte: "Robin" kostet 150 Tausend Rubel, "Charlie" - 195 Tausend Rubel. Daher verhandeln die Hersteller mit der Regierung, ihre Erfindungen in die Liste der technischen Sanierungsmittel aufzunehmen – in diesem Fall übernimmt die Regierung die Anschaffungskosten.
Sag mir, was du siehst
Äußerlich ähnelt "Robin" einer tragbaren Kamera.Sensoren scannen Objekte, und künstliche Intelligenz ermittelt, was sich vor dem Benutzer befindet – ein Auto, ein Tisch, ein Computer, eine andere Person. Im Gerätespeicher befinden sich mehr als 50 Objekte. Wenn Sie dort Fotos hochladen, erkennt es die Person und sagt seinen Namen. Um "Robin" im Dunkeln nutzen zu können, wurde eine Taschenlampe eingebaut. In diesem Fall benennt das Gadget nicht nur das Objekt, sondern schätzt auch die Entfernung dazu.
Die erste Veröffentlichung von "Robin" war erfolglos.Damit das Gerät ein Objekt erkennt, war es notwendig, das Gerät auszurichten, die Taste zu drücken und mindestens 2 Sekunden zu warten. Es stellte sich jedoch heraus, dass dies für die Benutzer unpraktisch war: Unmittelbar nach dem Drücken der Taste begannen sie, das Gerät von einer Seite zur anderen zu fahren. Aus diesem Grund erwiesen sich die von "Robin" geäußerten Informationen als irrelevant: Er beschrieb Gegenstände, die er erkannte, bevor er bewegt wurde.
„Wir wussten, wie wir dem Gerät helfen können und wo es gehtdirekt, und die Leute hatten keine solche Erfahrung. Aus diesem Grund schien ihnen das Gerät nicht gut zu funktionieren “, erklärt Alexander. Dann beschlossen die Entwickler, das Arbeitsprinzip zu ändern. Die Rückmeldezeit des Gerätes wurde auf eine Sekunde reduziert, während der „Robin“ nur funktionierte, wenn die Taste gedrückt wurde. Diese Option erwies sich für die Benutzer als klarer und einfacher.
„Es gibt keine direkten Konkurrenten, also Geräte mit gleichen Funktionen, auf dem Markt. Aber es gibt Analoga, zum Beispiel OrCam “, sagt Alexander.
OrCam MyEye und OrCam MyReaderist ein tragbares Gerät für künstliches Sehen, das von der gleichnamigen israelischen Firma hergestellt wird.Es handelt sich um eine kleine kabellose Kamera, die am Bügel der Brille befestigt werden kann.Das erste Gerät liest gedruckten und digitalen Text, Barcodes von Waren und erkenntDie zweite wird nur zum Lesen von Texten verwendet.Die Gadgets unterstützen 17 Sprachen und benötigen keine Internetverbindung.
Aus Stimme wird Text
"Charlie" ist für Menschen mit Problemen mitHören. An der Entwicklung waren Menschen mit Erfahrung im Unterrichten für Hörgeschädigte beteiligt. Daher waren sich die Entwickler der Schwierigkeiten bewusst, die im Kommunikationsprozess und der Wünsche beider Parteien auftreten.
Das Gerät nimmt Sprache in einer Entfernung von 2 m auf undzeigt es als Text auf dem Bildschirm an. Das Gadget kann auch von Taubblinden genutzt werden – dazu wird eine Braillezeile an den „Charlie“ angeschlossen. Es ermöglicht Ihnen, Informationen mit den Fingern zu lesen und eine Antwort einzugeben.
Braille wurde 1824 entwickelt.Es ist ein System von konvexen Punkten und Lücken zwischen ihnen. Jedes Zeichen wird mit einem 3x2-Trellis codiert. Die Punktkombination in jeder Zelle entspricht einem Buchstaben oder einem Satzzeichen. Ändert der Text die Schrift, beispielsweise von Latein in Kyrillisch, wird dies ebenfalls durch ein spezielles Symbol angezeigt.
Die Entwickler sagen, dass die Analoga von "Charlie" aufder Markt auch nicht. Zahlreiche Programme, die Sprache in Text übersetzen, sind in erster Linie für die Mensch-Computer-Interaktion konzipiert und nicht dafür, dass zwei Personen miteinander kommunizieren.
Das erste Gerät mit Spracherkennungerschien in den 50er Jahren innerhalb der Mauern von Bell Labs. Das Gerät ermittelte Zahlen von null bis neun. Gleichzeitig verstand die Maschine den Erfinder viel besser: Als er sprach, lag die Wiedergabegenauigkeit bei etwa 90 %. Nur in 70–80% der Fälle erkannte das Gerät die Sprache anderer Personen richtig.
Bis in die 90er Jahre basierte die Spracherkennung aufVorlagen: Schallwellen wurden in eine Reihe von Zahlen übersetzt und das Ergebnis wurde angezeigt, wenn die Sprache mit der Probe übereinstimmte. Daher war es für die korrekte Interpretation von Sprachsignalen erforderlich, Hintergrundgeräusche zu eliminieren, langsam und deutlich zu sprechen.
Die erste Spracherkennung, die keine Pausen zwischen den Wörtern erforderte, war NaturallySpeaking von Dragon.Es erschien 1997 und ist bis heute in Gebrauch.
Maschinelles Lernen und KI-Technologien signifikantverbesserte das Spracherkennungssystem und ermöglichte es, die Algorithmen an die individuelle Kommunikationsweise jedes Menschen anzupassen. Das Ergebnis waren Sprachassistenten: Google Assistant, Siri von Apple, Alexa von Amazon, „Alice“ von Yandex. Darüber hinaus gibt es spezielle Anwendungen, zum Beispiel ListNote, SpeechNotes, zur Spracherkennung, Übersetzung einer Stimme in eine Textnachricht. Einige Anwendungen wie Speechlogger können sogar eine Simultanübersetzung von einer Sprache in eine andere durchführen.
Mit Hilfe von "Charlie" werden sich die Gesprächspartner verständigen könnenmiteinander, ohne auf einen Vermittler zurückzugreifen. Darüber hinaus kann das Gerät zur Fernkommunikation genutzt werden, beispielsweise für Vorlesungen an Universitäten oder Besprechungen. Es reicht aus, wenn der Moderator "Charlie" neben sich und die Zuhörer stellt - um sich über den Link mit dem Programm zu verbinden. Die dekodierte Sprache wird in Echtzeit auf dem Bildschirm eines Smartphones oder Computers angezeigt.
Sehen Sie die Welt wieder
Auch "Sensor-Tech" beteiligt sich an wissenschaftlicher Forschung im Zusammenhang mit dem Einsatz von Neurotechnologien für die Rückkehr des Sehvermögens.
Angefangen hat alles 2016 bei einem internationalenKonferenzen in den USA. Dort trafen sich Vertreter der So-Unification Foundation mit einem amerikanischen Unternehmen, das sich mit bionischer Vision beschäftigt. Sie vereinbarten, in Russland ein Experiment durchzuführen, um blinden Menschen bionische Chips zu implantieren.
„Das Gerät ist möglicherweise nicht für jeden geeignetBei Blinden handelt es sich um ein recht schmales Spektrum an Krankheiten, hauptsächlich Retinitis pigmentosa. Die Besonderheit ist, dass dabei nur eine Zellschicht abstirbt, die Licht in ein elektrisches Signal umwandelt. Der Rest der Zellen bleibt am Leben“, erklärt Denis.
Retinitis pigmentosaBei dieser Pathologie werden die Netzhautzellen, die das Bild sammeln und entlang des Sehnervs an das Gehirn weiterleiten, nach und nach zerstört.Die Krankheit beginnt mit dem Verlust der Seiten- und Nachtsicht und führt schließlich zuEs gibt weder wirksame vorbeugende Maßnahmen gegen Retinitis pigmentosa, noch gibt es Behandlungen.Die Implantation von Mikrochips befindet sich noch in der Entwicklung, und Ärzte vermuten auch, dass ein DurchbruchGentherapie und Stammzellenbehandlung.
In den Datenbanken der Fonds So-Soyedinenie und Art, Science and Sport zwei Leute mit der richtigen Diagnose gefunden, diees gab keine begleitenden Pathologien. 2017 wurden die Implantate bei Grigory Ulyanov und Antonina Zakharchenko installiert. Die Mittel für die Operation wurden von der Alisher Usmanov Foundation bereitgestellt.
Alisher Usmanov Stiftung "Kunst, Wissenschaft und Sport"2006 gegründet. Finanziert Bildungs- und Wissenschaftsprojekte (kooperiert mit MGIMO, MISiS), unterstützt Museen und Theater (Sovremennik, Tretjakow-Galerie, Ensemble von Igor Moiseyev ua). Darüber hinaus fördert die Stiftung eine gesunde Lebensweise und veranstaltet Wettbewerbe, auch für Menschen mit Behinderung.
Während der Operation wird die Netzhaut des Patienten platziertImplantat mit Elektroden. Es ist mit einer speziellen Brille mit einer eingebauten Kamera verbunden. Die Informationen der Kamera werden an einen Mikrocomputer übertragen, der das Bild verarbeitet und Signale an das Implantat sendet. Elektrische Impulse werden entlang des Sehnervs zum Gehirn übertragen, wo ein Bild entsteht.
Das Implantat verfügt über 60 Elektroden, die vergleichbar sind mitein Bild von 60 Pixeln - entsprechend der Anzahl der vom Implantat stimulierten Punkte. Mit seiner Hilfe können Sie nur Objekte abbilden, die groß genug sind - Fenster, Türen, Tische, Autos. Kleinere Objekte können aus der „Matrix“, die die Elektroden bilden, herausfallen oder die Daten reichen nicht aus, um sie zu identifizieren.
Da der Patient nicht die dafür verantwortlichen Zellen besitztFarbwiedergabe, das Bild ist schwarz-weiß. Aber im Vergleich zur vollständigen Blindheit erweitert selbst eine solche eingeschränkte Sicht aus Sicht eines gesunden Menschen die Fähigkeiten der Patienten erheblich. Sie können sich auch unter ungewohnten Bedingungen ohne fremde Hilfe oder Zusatzgeräte im Raum orientieren und werden ganz selbstständig.
Sensor-Tech hoffte, dass die Operation es ermöglichen würdeImplantate in Russland registrieren und im Rahmen der medizinischen Hightech-Versorgung zur Verfügung stellen. Es gab jedoch ein Problem: Das Gesundheitsministerium war der Ansicht, dass zwei Operationen nicht ausreichten, um eine Aussage über die Sicherheit der Implantate zu treffen. Die Amerikaner wiederum weigerten sich, weitere Experimente durchzuführen, da es keine Garantie für eine endgültige Zulassung dieser Methode gab.
„In Bezug auf Augenimplantate ist die Geschichte vorbei.Das ist aber auch gut so, denn es hat eine Fortsetzung in Form von kortikalen Implantaten, die im Gehirn platziert werden. Hier findet die visuelle Verarbeitung von Informationen statt. Chips können für jede Art von Blindheit verwendet werden, im Gegensatz zu Augen. Das ist eine eher Hightech-Lösung“, sagt Denis.
Bereits 2021 präsentierte das Unternehmen die erstenEntwicklung in eine neue Richtung. Dies ist das erste Neuroimplantat für das Gehirn ELVIS in Russland, es hilft blinden und taubblinden Menschen das Sehvermögen wiederherzustellen. Das Gerät verfügt über ein Implantat, das im Gehirn installiert wird, einen Reifen mit zwei am Kopf zu tragenden Kameras – sie übernehmen die Funktion der Augen und einen Mikrocomputer, der das Bild analysiert und an das Gehirn übermittelt. Die Technologie ermöglicht es, die Silhouetten von Objekten, Personen zu unterscheiden und den Standort von Objekten zu verstehen.
Während das System an Nagetieren getestet wird, werden Tests an Affen folgen. Im Jahr 2024 planen 10 blinde Freiwillige, ein kortikales Implantat zu installieren.
Kortikale visuelle ImplantateSie stimulieren die GroßhirnrindeExperten zufolge wird dies die Möglichkeit bieten,Ändern Sie die Helligkeit von Bildern und sorgen Sie für eine Farbwiedergabe, die bei der Verwendung von bionischen Implantaten unmöglich ist.Die ersten Operationen zur Implantation kortikaler Implantate wurden in den 70er Jahren des letzten Jahrhunderts durchgeführt.Und 2018 installierte das amerikanische Unternehmen Second Sight den ersten blinden Freiwilligen öffentlich moderne neuronale Implantate.Die Technologie befindet sich in der klinischen Erprobung.
Wissenschaftliche Forschung und Überseemärkte
Es gibt andere unter den Fällen des LaborsEntwicklung. So wurde beispielsweise gemeinsam mit einem Mobilfunkanbieter eine kostenlose App für Mobiltelefone entwickelt, die Blinden bei der Ermittlung des Nennwerts von Banknoten helfen soll. Es ist für iOS und Android verfügbar.
Um den Nennwert eines Geldscheins herauszufinden, richten Sie einfach die Kamera Ihres Smartphones darauf. Die KI wird die Banknote identifizieren und benennen. Und wenn Sie die Kamera gleichzeitig auf mehrere Rechnungen richten, berechnet das Gerät sofort deren Betrag.
Wenn die Anwendung von einer Person mitSeh- und Hörbehinderungen, die die Sprachausgabe nicht hören können, kann der Nennwert des Geldscheins durch Vibration erkannt werden - für verschiedene Nennwerte gibt es eigene Modi.
Wenn das Telefon die Rechnung nicht erkennt, können SieMachen Sie ein Bild und fügen Sie es über die Funktion "Hilfe für Entwickler" in die Datenbank ein. In der Regel ergibt sich dies bei der Ausgabe neuer oder seltener Gedenknoten.
Neben der Herstellung von Geräten ist Sensor-Techbetreiben wissenschaftliche Forschung auf dem Gebiet der Taubblindheit. „Wir möchten gesunden Menschen vermitteln, wie Menschen mit Seh- oder Hörbehinderungen die Welt im Allgemeinen wahrnehmen“, sagt Andrey.
Sehen Sie sich diesen Beitrag auf Instagram an
Also hat das Labor Simulatoren für Verstöße erstelltAnsicht: VR-Simulator Siehe My World und seine mobile Version SMW Pro. "Rauschen" wird dem Livebild oder einem statischen Bild überlagert. Als Ergebnis wird das Bild entsprechend dem spezifischen Sehfehler verzerrt. Es wird beispielsweise verschwommen oder ein schwarzer Fleck erscheint in der Mitte des Bildes.
„Wir simulieren die Symptome, wie eine Person mitverschiedene Sehbehinderungen. Wörtlich: wie man durch die Augen einer Person schaut, die Katarakte, Kurzsichtigkeit, Astigmatismus, Glaukom hat “, sagt Andrey. Außerdem können Sie mit dem Simulator die Dynamik der Krankheit im Laufe der Zeit verfolgen. Dies hilft Ärzten und Studenten, das Krankheitsbild und die nahen Verwandten des Patienten besser zu studieren - die Welt buchstäblich durch seine Augen zu betrachten.
„Um das Bild so genau wie möglich zu machen,um es zu erstellen, wird das klinische Bild der Krankheit verwendet. Außerdem klären wir das Ergebnis mit dem Patienten ab, damit er bestätigen kann, ob er das sieht, wenn sein Sehvermögen noch nicht stark beeinträchtigt ist“, erklärt Andrey.
Jetzt wollen Entwickler ihreGeräte auf dem europäischen und US-amerikanischen Markt. Es ist geplant, die Gadgets auf Amazon zu stellen und darüber hinaus staatliche Stellen und öffentliche Organisationen zu erreichen, die sich mit den Problemen von Menschen mit Behinderungen befassen. Denis ist sich sicher, dass der Markt für angewandte Entwicklungen nur wachsen wird. Und der Leiter des Sensor-Tech-Labors sieht seine Mission darin, Menschen mit Behinderungen das Leben durch Technik zu erleichtern.
Weiter lesen:
KI hat ein biologisches Problem gelöst, mit dem Wissenschaftler seit 50 Jahren kämpfen
Eine Millisekunde statt 30 Billionen Jahre für eine Aufgabe: China hat einen neuen Quantencomputer vorgestellt
Wissenschaftler suchen nach Menschen, die sich nicht mit COVID-19 infizieren können. Basierend auf ihren Daten werden sie ein Medikament herstellen