Denis Koulechov- Directeur du laboratoire Sensor-Tech.
Alexandre Popov- chef designer
Andreï Demchinsky- Chef de projets médicaux chez Sensor-Tech.
Des neurotechnologies qui lèvent les restrictions
Un homme marche dans la rue.Dans une main, il a une canne blanche, avec laquelle il tâte le chemin. Dans l'autre, il y a un petit objet noir qui ressemble à une caméra vidéo. L'homme la dirige d'abord devant lui, puis sur les côtés. Les passants ne savent pas qu'à ce moment-là dans l'écouteur il entend des invites : « Voiture, distance - 5 mètres. Homme, distance - 3 mètres. "
Une autre personne vient au MFC.« Bonjour », dit l'opératrice avec un sourire, et ce mot apparaît sur l'écran face au visiteur. L'homme lui rend son sourire et commence à taper le problème sur le clavier, que l'opérateur lira sur l'écran de l'ordinateur. Un intermédiaire entre les malentendants et le monde extérieur est un petit appareil qui convertit la parole en texte.
Les deux appareils sont développés et fabriqués dans l'entrepriseSensor-Tech. Son directeur Denis Kuleshov a commencé à coopérer avec des organisations de personnes handicapées alors qu'il était encore à l'institut : il a aidé à mener des recherches. Petit à petit, Denis s'est rendu compte qu'il souhaitait travailler dans cette direction et se développer pour les personnes en situation de handicap. C'est pourquoi, lorsqu'en 2014, on lui a proposé de rejoindre la recherche scientifique de la nouvelle fondation So-Unification, il a immédiatement accepté.
Création de la Fondation d'aide aux sourds-aveugles « So-Unity »en avril 2014. S'occupe de la socialisation des sourds-aveugles : ouvre des centres de soutien régionaux, crée des opportunités d'emploi, de loisirs et d'épanouissement créatif ; fournit une assistance juridique, psychologique et ciblée.
Le fonds a accumulé divers projets, dontjeunesse et scientifique, en lien avec les problématiques de la surdicécité, auquel Denis a participé. «À un moment donné, il a été décidé qu'il serait beaucoup plus efficace et correct de développer cela sous la forme d'un laboratoire distinct qui traite ces problèmes de manière spécialisée», se souvient Kuleshov.
Les nuances de l'électroménager
En 2017, le laboratoire Sensor-Tech est apparu,qui a été fondée par la Fondation So-Unification. Immédiatement, le travail a commencé sur la création de gadgets pour les malentendants et les aveugles. Une subvention de l'Initiative Scientifique et Technologique a été allouée à cet effet dans le cadre de la feuille de route Neuronet.
La condition pour recevoir la subvention était le cofinancement du projet : 70 % étaient alloués par NTI, le reste de l'argent devait être trouvé par les développeurs eux-mêmes. Les 30% manquants ont été fournis par la Fondation So-Unification.
Le travail du laboratoire a dû être construit à partir de zéro :formé un bureau d'études et une usine pilote, où des prototypes d'appareils ont été assemblés. Le premier problème rencontré par les développeurs est le manque d'expérience dans la création d'appareils électroménagers. Leur expérience précédente en instrumentation était principalement liée à l'industrie de la défense.
Le premier prototype d'appareil pour aveugles s'est avéré êtretrop encombrant et peu pratique à utiliser. Ayant reçu les retours des utilisateurs, les développeurs l'ont sérieusement transformé. Il était nécessaire que l'appareil fonctionne sans interruption, qu'il soit pratique et compréhensible à utiliser.
Aujourd'hui, le laboratoire a développé un appareil pour les aveugles et malvoyants - "Robin" et un appareil pour les personnes malentendantes - "Charlie".
« Le marché des appareils pour personnes handicapées n'est pas très vaste,toute la production est à petite échelle et chère », explique Denis. C'est la raison du prix plutôt élevé des appareils: "Robin" coûte 150 000 roubles, "Charlie" - 195 000 roubles. Par conséquent, les fabricants négocient avec le gouvernement pour inclure leurs inventions dans la liste des moyens de réhabilitation technique - dans ce cas, le gouvernement compensera les coûts d'achat.
Dis moi ce que tu vois
Extérieurement, "Robin" ressemble à un appareil photo portable.Des capteurs scannent les objets et l'intelligence artificielle détermine ce qui se trouve devant l'utilisateur - une voiture, une table, un ordinateur, une autre personne. Il y a plus de 50 objets dans la mémoire de l'appareil. Si vous y téléchargez des photos, il reconnaît la personne et dit son nom. Pour utiliser "Robin" dans l'obscurité, une lampe de poche y a été intégrée. Dans ce cas, le gadget nomme non seulement l'objet, mais estime également la distance qui le sépare.
La première version de "Robin" a échoué.Pour que l'appareil détecte un objet, il fallait pointer l'appareil, appuyer sur le bouton et attendre au moins 2 secondes. Mais il s'est avéré que cela n'était pas pratique pour les utilisateurs: immédiatement après avoir appuyé sur le bouton, ils ont commencé à conduire l'appareil d'un côté à l'autre. Pour cette raison, les informations exprimées par "Robin" se sont avérées non pertinentes: il décrivait des objets qu'il avait reconnus avant d'être déplacé.
« Nous savions comment aider l'appareil et oùdirect, et les gens n'avaient pas une telle expérience. À cause de cela, il leur semblait que l'appareil ne fonctionnait pas bien », explique Alexander. Ensuite, les développeurs ont décidé de changer le principe de travail. Le temps de retour de l'appareil a été réduit à une seconde, tandis que le "Robin" ne fonctionnait que lorsque le bouton était enfoncé. Cette option s'est avérée plus claire et plus facile pour les utilisateurs.
« Il n'y a pas de concurrents directs, c'est-à-dire d'appareils avec les mêmes fonctions, sur le marché. Mais il existe des analogues, par exemple OrCam », explique Alexander.
OrCam MyEye et OrCam MyReader— appareils de vision artificielle portables,qui sont produits par la société israélienne du même nom. Il s'agit d'une petite caméra sans fil qui peut être fixée sur la branche des lunettes. Le premier appareil lit les textes imprimés et numériques, les codes-barres des produits, reconnaît les visages et prononce les informations reçues. Le second est utilisé uniquement pour la lecture de textes. Les gadgets prennent en charge 17 langues et ne nécessitent pas de connexion Internet.
La voix se transforme en texte
"Charlie" est destiné aux personnes ayant des problèmes deaudience. Des personnes expérimentées dans l'enseignement pour les malentendants ont participé à son développement. Par conséquent, les développeurs étaient conscients des difficultés qui surviennent dans le processus de communication et des demandes des deux parties.
L'appareil capte la parole à une distance de 2 m etl'affiche à l'écran sous forme de texte. Le gadget peut également être utilisé par les sourds-aveugles - pour cela, un afficheur braille est connecté au "Charlie". Il vous permet de lire les informations avec vos doigts et de saisir une réponse.
Le braille a été développé en 1824.C'est un système de points convexes et de vides entre eux. Chaque caractère est encodé à l'aide d'un treillis 3x2. La combinaison de points à l'intérieur de chaque cellule correspond à une lettre ou à un signe de ponctuation. Si le texte change l'écriture, par exemple, du latin au cyrillique, cela est également indiqué par un symbole spécial.
Les développeurs disent que les analogues de "Charlie" surle marché non plus. De nombreux programmes qui traduisent la parole en texte sont principalement conçus pour l'interaction homme-machine, et non pour que deux personnes communiquent entre elles.
La première machine capable de reconnaissance vocaleapparu dans les années 50 dans les murs des Bell Labs. L'appareil déterminait les nombres de zéro à neuf. En même temps, la machine comprenait beaucoup mieux l'inventeur : lorsqu'il parlait, la précision de reproduction était d'environ 90 %. L'appareil n'a reconnu correctement la parole d'autres personnes que dans 70 à 80 % des cas.
Jusque dans les années 90, la reconnaissance vocale était basée surmodèles : les ondes sonores ont été traduites en un ensemble de nombres et le résultat a été affiché lorsque la parole correspondait à l'échantillon. Par conséquent, pour une interprétation correcte des signaux vocaux, il était nécessaire d'éliminer le bruit de fond, de parler lentement et clairement.
Le premier outil de reconnaissance vocale qui ne nécessitait pas de pause entre les mots était NaturallySpeaking de Dragon. Il est apparu en 1997 et est toujours utilisé aujourd'hui.
Les technologies d'apprentissage automatique et d'IA de manière significativeamélioré le système de reconnaissance vocale et permis d'adapter les algorithmes au mode de communication individuel de chaque personne. Le résultat a été l'émergence d'assistants vocaux : Google Assistant, Siri d'Apple, Alexa d'Amazon, « Alice » de Yandex. En outre, il existe des applications spéciales, par exemple ListNote, SpeechNotes, pour la reconnaissance vocale, la traduction d'une voix dans un message texte. Certaines applications, telles que Speechlogger, peuvent même effectuer une traduction simultanée d'une langue à une autre.
Avec l'aide de "Charlie" les interlocuteurs pourront communiquerentre eux sans passer par un intermédiaire. De plus, l'appareil peut être utilisé pour la communication à distance, par exemple, pour des conférences dans des universités ou pour la tenue de réunions. Il suffit au présentateur de mettre "Charlie" à côté de lui et aux auditeurs - de se connecter au programme par le lien. La parole décodée sera affichée sur l'écran d'un smartphone ou d'un ordinateur en temps réel.
Revoir le monde
Aussi "Sensor-Tech" participe à des recherches scientifiques liées à l'utilisation des neurotechnologies pour le retour de la vision.
Tout a commencé en 2016 lors d'une conférence internationaleconférences aux USA. Là, des représentants de la Fondation So-Unification ont rencontré une entreprise américaine traitant de la vision bionique. Ils ont accepté de mener une expérience en Russie pour implanter des puces bioniques chez des personnes aveugles.
« L'appareil peut ne pas être applicable à tout le mondedes aveugles, il s'agit d'un groupe assez restreint de maladies, principalement la rétinite pigmentaire. La particularité est qu'avec elle, une seule couche de cellules meurt, ce qui transforme la lumière en un signal électrique. Le reste des cellules reste en vie », explique Denis.
Rétinite pigmentaire- une maladie héréditaire associée àChromosome X. Avec cette pathologie, les cellules rétiniennes qui collectent les images et les transmettent le long du nerf optique jusqu'au cerveau sont progressivement détruites. La maladie commence par une perte de la vision latérale et nocturne et conduit finalement à une cécité complète. Il n’existe aucune mesure préventive efficace contre la rétinite pigmentaire, ni aucune méthode de traitement. L’implantation de micropuces est encore en cours de développement, et les médecins suggèrent également que la thérapie génique et le traitement par cellules souches pourraient constituer une avancée majeure.
Ainsi, dans les bases de données des fonds So-Soyedinenie et Art, Science et Sport trouvé deux personnes avec le bon diagnostic quiil n'y avait pas de pathologies concomitantes. En 2017, les implants ont été installés à Grigory Ulyanov et Antonina Zakharchenko. Les fonds pour l'opération ont été alloués par la Fondation Alisher Usmanov.
Fondation Alisher Usmanov "Art, Science et Sport"fondée en 2006. Finance des projets éducatifs et scientifiques (coopérer avec MGIMO, MISiS), soutient des musées et des théâtres (Sovremennik, Galerie Tretiakov, ensemble d'Igor Moiseyev et autres). La fondation promeut également des modes de vie sains et organise des concours, y compris pour les personnes handicapées.
Pendant l'opération, la rétine du patient est placéeimplant avec électrodes. Il est associé à des lunettes spéciales avec une caméra intégrée. Les informations de la caméra sont transmises à un micro-ordinateur, qui traite l'image et envoie des signaux à l'implant. Les impulsions électriques sont transmises le long du nerf optique au cerveau, où une image est formée.
L'implant a 60 électrodes, ce qui peut être comparé àune image de 60 pixels - selon le nombre de points stimulés par l'implant. Avec son aide, vous pouvez obtenir une image uniquement d'objets suffisamment grands - fenêtres, portes, tables, voitures. Des objets plus petits peuvent tomber de la « matrice » que forment les électrodes, ou les données sont insuffisantes pour les identifier.
Étant donné que le patient n'a pas les cellules responsables derendu des couleurs, l'image est en noir et blanc. Mais par rapport à la cécité complète, même une vision aussi limitée du point de vue d'une personne en bonne santé augmente considérablement les capacités des patients. Ils peuvent s'orienter dans l'espace même dans des conditions inconnues sans aide extérieure ni dispositifs supplémentaires et devenir tout à fait indépendants.
Sensor-Tech espérait que l'opération permettraitenregistrer les implants en Russie et les mettre à disposition dans le cadre de soins médicaux de haute technologie. Mais un problème s'est posé : le ministère de la Santé a estimé que deux opérations n'étaient pas suffisantes pour tirer une conclusion sur la sécurité des implants. Les Américains, à leur tour, ont refusé de mener d'autres expériences, car il n'y avait aucune garantie que cette méthode serait finalement approuvée.
« Pour ce qui est des implants oculaires, l'histoire est terminée.Mais c'est même bon, car il a une continuation sous la forme d'implants corticaux, qui sont placés dans le cerveau. C'est là que le traitement visuel de l'information a lieu. Les puces peuvent être utilisées pour tout type de cécité, contrairement à celles des yeux. C'est une solution plus high-tech », précise Denis.
Déjà en 2021, la société a présenté le premierdéveloppement dans une nouvelle direction. Il s'agit du premier neuroimplant pour le cerveau ELVIS en Russie, il aide à restaurer la vision des personnes aveugles et sourdes-aveugles. L'appareil a un implant qui est installé dans le cerveau, un cerceau avec deux caméras à porter sur la tête - ils prennent en charge la fonction des yeux et un micro-ordinateur qui analyse l'image et la transmet au cerveau. La technologie permet de distinguer les silhouettes des objets, des personnes et de comprendre l'emplacement des objets.
Pendant que le système est testé sur des rongeurs, des tests sur des singes suivront. En 2024, 10 volontaires aveugles envisagent de poser un implant cortical.
Implants visuels corticauxinstallé dans le cortex cérébral.Ils stimulent les zones visuelles, entraînant des sensations visuelles. Selon les experts, cela permettra de modifier la luminosité des images et d'assurer le rendu des couleurs, ce qui est impossible lors de l'utilisation d'implants bioniques. Les premières opérations d'implantation d'implants corticaux ont été réalisées dans les années 70 du siècle dernier. Et en 2018, la société américaine Second Sight a installé publiquement des neuroimplants modernes sur les premiers volontaires aveugles. La technologie fait l'objet d'essais cliniques.
Recherche scientifique et marchés étrangers
Il y en a d'autres parmi les cas du laboratoiredéveloppement. Par exemple, une application gratuite pour téléphones portables a été développée avec un opérateur de téléphonie mobile pour aider les personnes aveugles à déterminer la dénomination des billets de banque. Il est disponible sur iOS et Android.
Pour connaître la dénomination d'un billet, il suffit de pointer l'appareil photo de votre smartphone vers celui-ci. L'IA identifiera le billet et le nommera. Et si vous pointez la caméra sur plusieurs factures en même temps, l'appareil calculera immédiatement leur montant.
Si l'application est utilisée par une personnehandicaps visuels et auditifs, qui ne peuvent pas entendre la voix, la dénomination du projet de loi peut être reconnue à l'aide de vibrations - pour différentes dénominations, il existe des modes propres.
Si le téléphone ne reconnaît pas la facture, vous pouvezprendre une photo et l'ajouter à la base de données via la fonction "Aide aux développeurs". Cela s'avère généralement nécessaire lors de l'émission de billets commémoratifs nouveaux ou rares.
En plus de la production d'appareils, Sensor-Techsont engagés dans la recherche scientifique dans le domaine de la surdicécité. «Nous voulons faire comprendre aux personnes en bonne santé comment les personnes malvoyantes ou auditives perçoivent le monde en général», explique Andrey.
Voir cette publication sur Instagram
Ainsi, le laboratoire a créé des simulateurs de violationsvue : Simulateur VR See My World et sa version mobile SMW Pro. Le "bruit" est superposé à l'image en direct ou à une image statique. En conséquence, l'image est déformée en fonction du défaut visuel spécifique. Par exemple, il devient flou ou un point noir apparaît au centre de l'image.
« Nous simulons les symptômes de la façon dont une personnediverses déficiences visuelles. Littéralement : comment regarder à travers les yeux d'une personne qui a la cataracte, la myopie, l'astigmatisme, le glaucome », explique Andrey. De plus, à l'aide du simulateur, vous pouvez suivre la dynamique de la maladie au fil du temps. Cela aide les médecins et les étudiants à mieux étudier le tableau clinique, et les proches du patient - regardent littéralement le monde à travers ses yeux.
"Pour rendre l'image aussi précise que possible,pour le créer, le tableau clinique de la maladie est utilisé. De plus, nous clarifions le résultat avec le patient, afin qu'il puisse confirmer s'il le voit, si sa vision n'est pas encore gravement altérée », explique Andrey.
Désormais, les développeurs veulent promouvoir leurappareils sur les marchés européens et américains. Il est prévu de mettre les gadgets sur Amazon et, en plus, d'atteindre les organismes gouvernementaux et les organisations publiques s'occupant des problèmes des personnes handicapées. Denis est persuadé que le marché des développements appliqués ne fera que croître. Et le directeur du laboratoire Sensor-Tech voit sa mission de faciliter la vie des personnes handicapées grâce à la technologie.
Lire la suite:
L'IA a résolu un problème biologique que les scientifiques luttent depuis 50 ans
Une milliseconde au lieu de 30 000 milliards d'années pour une tâche : la Chine a introduit un nouvel ordinateur quantique
Les scientifiques recherchent des personnes qui ne peuvent pas être infectées par COVID-19. Sur la base de leurs données, ils fabriqueront un médicament