Denis Kuleshov- Director del laboratorio Sensor-Tech.
Alexander Popov- jefe de diseño
Andrey Demchinsky- Responsable de proyectos médicos en Sensor-Tech.
Neurotecnologías que eliminan restricciones
Un hombre camina por la calle.En una mano lleva un bastón blanco, con el que palpa el camino. En el otro, hay un pequeño objeto negro que parece una cámara de video. El hombre lo dirige primero frente a él, luego hacia los lados. Los transeúntes no saben que en este momento en el auricular escucha mensajes: “Coche, distancia - 5 metros. Hombre, distancia - 3 metros ".
Otra persona llega al MFC.“Hola”, dice el operador con una sonrisa, y esta palabra aparece en la pantalla de cara al visitante. El hombre le devuelve la sonrisa y comienza a escribir el problema en el teclado, que el operador leerá en el monitor de la computadora. Un intermediario entre las personas con problemas de audición y el mundo exterior es un pequeño dispositivo que convierte la voz en texto.
Ambos dispositivos son desarrollados y fabricados en la empresa."Sensor-Tech". Su director, Denis Kuleshov, comenzó a cooperar con organizaciones para discapacitados cuando aún estaba en el instituto: ayudó a realizar investigaciones. Poco a poco, Denis se dio cuenta de que quería trabajar en esta dirección y desarrollarse para las personas con discapacidad. Por lo tanto, cuando en 2014 se le ofreció unirse a la investigación científica de la nueva fundación So-Unification, aceptó de inmediato.
Se estableció la Fundación para el apoyo de los sordociegos "So-Unity"en abril de 2014. Se ocupa de la socialización de los sordociegos: abre centros de apoyo regionales, crea oportunidades de empleo, ocio y autorrealización creativa; proporciona asistencia jurídica, psicológica y específica.
El fondo ha acumulado varios proyectos, entre ellosjuvenil y científico, relacionado con la problemática de la sordoceguera, en el que participó Denis. “En algún momento, se decidió que sería mucho más efectivo y más correcto desarrollar esto en el formato de un laboratorio separado que se ocupa de estos problemas de una manera especializada”, recuerda Kuleshov.
Los matices de los electrodomésticos.
En 2017, apareció el laboratorio Sensor-Tech,que fue fundada por la Fundación So-Unification. Inmediatamente se inició el trabajo en la creación de dispositivos para personas con discapacidad auditiva y ciegos. Para ello se concedió una subvención de la Iniciativa Científica y Tecnológica en el marco de la hoja de ruta de Neuronet.
La condición para recibir la subvención fue la cofinanciación del proyecto: el 70% fue asignado por NTI, el resto del dinero tuvo que ser encontrado por los propios desarrolladores. El 30% faltante fue proporcionado por la Fundación So-Unification.
El trabajo del laboratorio tuvo que construirse desde cero:formó una oficina de diseño y una planta piloto, donde se ensamblaron prototipos de dispositivos. El primer problema al que se enfrentan los desarrolladores es la falta de experiencia en la creación de electrodomésticos. Su experiencia previa en instrumentación estaba relacionada principalmente con la industria de defensa.
El primer prototipo de un dispositivo para ciegos resultó serdemasiado engorroso e incómodo de usar. Habiendo recibido comentarios de los usuarios, los desarrolladores lo han transformado seriamente. Era necesario hacer que el dispositivo funcionara sin interrupciones, fuera conveniente y comprensible de usar.
Ahora, el laboratorio ha desarrollado un dispositivo para ciegos y deficientes visuales, "Robin", y un dispositivo para personas con discapacidad auditiva, "Charlie".
“El mercado de dispositivos para personas con discapacidad no es muy grande,toda la producción es a pequeña escala y cara ”, dice Denis. Esta es la razón del precio bastante alto de los dispositivos: "Robin" cuesta 150 mil rublos, "Charlie" - 195 mil rublos. Por lo tanto, los fabricantes están negociando con el gobierno para incluir sus invenciones en la lista de medios de rehabilitación técnica; en este caso, el gobierno compensará los costos de compra.
Dime que ves
Exteriormente, "Robin" se parece a una cámara portátil.Los sensores escanean objetos y la inteligencia artificial determina qué hay frente al usuario: un automóvil, una mesa, una computadora u otra persona. En total, hay más de 50 objetos en la memoria del dispositivo. Si subes fotos allí, reconoce a la persona y dice su nombre. Para usar "Robin" en la oscuridad, se incorporó una linterna. En este caso, el gadget no solo nombra el objeto, sino que también estima la distancia hasta él.
El primer lanzamiento de "Robin" no tuvo éxito.Para que el dispositivo detecte un objeto, fue necesario apuntar el dispositivo, presionar el botón y esperar al menos 2 segundos. Pero resultó que esto era un inconveniente para los usuarios: inmediatamente después de presionar el botón, comenzaron a conducir el dispositivo de lado a lado. Debido a esto, la información expresada por "Robin" resultó ser irrelevante: estaba describiendo objetos que reconoció antes de ser movido.
“Sabíamos cómo ayudar al dispositivo y dóndedirecto, y la gente no tenía tal experiencia. Por eso, les pareció que el dispositivo no funcionaba bien ”, explica Alexander. Entonces, los desarrolladores decidieron cambiar el principio de trabajo. El tiempo de respuesta del dispositivo se redujo a un segundo, mientras que el "Robin" solo funcionaba cuando se presionaba el botón. Esta opción resultó ser más clara y sencilla para los usuarios.
“No hay competidores directos, es decir, dispositivos con las mismas funciones en el mercado. Pero hay análogos, por ejemplo, OrCam ”, dice Alexander.
OrCam MyEye y OrCam MyReader- dispositivos portátiles de visión artificial,que son producidos por la empresa israelí del mismo nombre. Son una pequeña cámara inalámbrica que se puede acoplar a la patilla de las gafas. El primer dispositivo lee texto impreso y digital, códigos de barras de productos, reconoce rostros y pronuncia la información recibida. El segundo se utiliza únicamente para leer textos. Los dispositivos admiten 17 idiomas y no requieren conexión a Internet.
La voz se convierte en texto
"Charlie" está destinado a personas con problemas conaudiencia. En su desarrollo participaron personas con experiencia en la docencia para personas con discapacidad auditiva. Por ello, los desarrolladores fueron conscientes de las dificultades que surgen en el proceso de comunicación y las solicitudes de ambas partes.
El dispositivo capta el habla a una distancia de 2 mylo muestra en la pantalla como texto. El dispositivo también puede ser utilizado por sordos-ciegos; para ello, se conecta una pantalla Braille al "Charlie". Le permite leer información con los dedos e ingresar una respuesta.
El braille se desarrolló en 1824.Es un sistema de puntos convexos y vacíos entre ellos. Cada carácter se codifica mediante un enrejado de 3x2. La combinación de puntos dentro de cada celda corresponde a una letra o signo de puntuación. Si el texto cambia la escritura, por ejemplo, de latín a cirílico, esto también se indica mediante un símbolo especial.
Los desarrolladores dicen que los análogos de "Charlie" enel mercado tampoco. Numerosos programas que traducen el habla en texto están diseñados principalmente para la interacción persona-computadora, y no para que dos personas se comuniquen entre sí.
La primera máquina capaz de reconocimiento de vozapareció en los años 50 dentro de los muros de Bell Labs. El dispositivo determinaba números del cero al nueve. Al mismo tiempo, la máquina entendió mucho mejor al inventor: cuando hablaba, la precisión de reproducción era de aproximadamente el 90%. El dispositivo reconoció correctamente el habla de otras personas solo en el 70-80% de los casos.
Hasta los años 90, el reconocimiento de voz se basaba enplantillas: las ondas sonoras se tradujeron en un conjunto de números y el resultado se mostró cuando el habla coincidió con la muestra. Por tanto, para la correcta interpretación de las señales de voz, era necesario eliminar el ruido de fondo, hablar despacio y con claridad.
El primer reconocedor de voz que no requirió pausas entre palabras fue Dragon's NaturallySpeaking. Apareció en 1997 y todavía se utiliza en la actualidad.
Tecnologías de aprendizaje automático e inteligencia artificial de manera significativamejoró el sistema de reconocimiento de voz y permitió adaptar los algoritmos a la forma individual de comunicación de cada persona. El resultado fue la aparición de asistentes de voz: Asistente de Google, Siri de Apple, Alexa de Amazon, "Alice" de Yandex. Además, existen aplicaciones especiales, por ejemplo, ListNote, SpeechNotes, para reconocimiento de voz, traducción de una voz en un mensaje de texto. Algunas aplicaciones, como Speechlogger, pueden incluso realizar traducción simultánea de un idioma a otro.
Con la ayuda de "Charlie" los interlocutores podrán comunicarseentre sí sin recurrir a un intermediario. Además, el dispositivo se puede utilizar para la comunicación remota, por ejemplo, para conferencias en universidades o la celebración de reuniones. Es suficiente que el presentador ponga a "Charlie" junto a él, y los oyentes, para conectarse al programa mediante el enlace. La voz decodificada se mostrará en la pantalla de un teléfono inteligente o computadora en tiempo real.
Ver el mundo de nuevo
Asimismo, "Sensor-Tech" participa en investigaciones científicas relacionadas con el uso de neurotecnologías para el retorno de la visión.
Todo comenzó en 2016 en unaconferencias en los Estados Unidos. Allí, representantes de la Fundación So-Unification se reunieron con una empresa estadounidense que se ocupa de la visión biónica. Acordaron realizar un experimento en Rusia para implantar chips biónicos en personas ciegas.
"Es posible que el dispositivo no sea aplicable a todosde los ciegos, se trata de un grupo bastante reducido de enfermedades, principalmente retinitis pigmentosa. La peculiaridad es que con él, solo muere una capa de células, lo que transforma la luz en una señal eléctrica. El resto de células siguen vivas ”, explica Denis.
Retinitis pigmentosa- una enfermedad hereditaria asociada conCromosoma X. Con esta patología, las células de la retina que recopilan imágenes y las transmiten a lo largo del nervio óptico hasta el cerebro se destruyen gradualmente. La enfermedad comienza con la pérdida de la visión lateral y nocturna y eventualmente conduce a una ceguera total. No existen medidas preventivas eficaces contra la retinitis pigmentosa, ni tampoco métodos de tratamiento. La implantación de microchips aún está en desarrollo y los médicos también sugieren que la terapia génica y el tratamiento con células madre podrían convertirse en un gran avance.
Como resultado, en las bases de datos de los fondos So-Unification y Arte, Ciencia y Deporte encontré a dos personas con el diagnóstico correcto queno hubo patologías concomitantes. En 2017, los implantes se instalaron en Grigory Ulyanov y Antonina Zakharchenko. Los fondos para la operación fueron asignados por la Fundación Alisher Usmanov.
Fundación Alisher Usmanov "Arte, ciencia y deporte"fundada en 2006. Financia proyectos educativos y científicos (coopera con MGIMO, MISiS), apoya museos y teatros (Sovremennik, Galería Tretyakov, conjunto de Igor Moiseev y otros). La fundación también promueve estilos de vida saludables y organiza concursos, incluso para personas con discapacidad.
Durante la operación, se coloca la retina del pacienteimplante con electrodos. Está asociado con gafas especiales con cámara incorporada. La información de la cámara se transmite a un microordenador, que procesa la imagen y envía señales al implante. Los impulsos eléctricos se transmiten a lo largo del nervio óptico hasta el cerebro, donde se forma una imagen.
El implante tiene 60 electrodos, que se pueden comparar conuna imagen de 60 píxeles, según el número de puntos estimulados por el implante. Con su ayuda, puede obtener una imagen de solo objetos lo suficientemente grandes: ventanas, puertas, mesas, automóviles. Los objetos más pequeños pueden caer fuera de la "matriz" que forman los electrodos, o los datos son insuficientes para identificarlos.
Dado que el paciente no tiene las células responsables dereproducción del color, la imagen es en blanco y negro. Pero en comparación con la ceguera completa, incluso una visión tan limitada desde el punto de vista de una persona sana expande significativamente las capacidades de los pacientes. Pueden orientarse en el espacio incluso en condiciones desconocidas sin ayuda externa o dispositivos adicionales y se vuelven bastante independientes.
Sensor-Tech esperaba que la operación permitieraregistrar implantes en Rusia y ponerlos a disposición en el marco de la atención médica de alta tecnología. Pero surgió un problema: el Ministerio de Salud consideró que dos operaciones no eran suficientes para sacar una conclusión sobre la seguridad de los implantes. Los estadounidenses, a su vez, se negaron a realizar más experimentos, ya que no había garantía de que este método finalmente fuera aprobado.
“En cuanto a los implantes oculares, la historia se acabó.Pero esto es incluso bueno, porque tiene una continuación en forma de implantes corticales, que se colocan en el cerebro. Es allí donde tiene lugar el procesamiento visual de la información. Los chips se pueden utilizar para cualquier tipo de ceguera, a diferencia de los ojos. Esta es una solución de más alta tecnología ”, dice Denis.
Ya en 2021, la empresa presentó el primerdesarrollo en una nueva dirección. Este es el primer neuroimplante ELVIS para el cerebro en Rusia; ayuda a restaurar la visión a personas ciegas y sordociegas. El dispositivo tiene un implante que se instala en el cerebro, un aro con dos cámaras que se colocan en la cabeza, se hacen cargo de la función de los ojos y una microcomputadora que analiza la imagen y la transmite al cerebro. La tecnología permite distinguir las siluetas de objetos, personas y comprender la ubicación de los objetos.
Mientras se prueba el sistema en roedores, se realizarán pruebas en monos. En 2024, 10 voluntarios ciegos planean instalar un implante cortical.
Implantes visuales corticalesinstalado en la corteza cerebral.Estimulan las áreas visuales, dando como resultado sensaciones visuales. Según los expertos, esto permitirá cambiar el brillo de las imágenes y garantizar la reproducción del color, algo imposible cuando se utilizan implantes biónicos. Las primeras operaciones para implantar implantes corticales se realizaron allá por los años 70 del siglo pasado. Y en 2018, la empresa estadounidense Second Sight instaló públicamente neuroimplantes modernos en los primeros voluntarios ciegos. La tecnología está siendo sometida a ensayos clínicos.
Investigación científica y mercados de ultramar
Entre los casos de laboratorio hay otrosdesarrollo. Por ejemplo, se desarrolló una aplicación gratuita para teléfonos móviles junto con un operador de telefonía móvil para ayudar a las personas ciegas a determinar la denominación de los billetes. Está disponible en iOS y Android.
Para averiguar la denominación de un billete, simplemente apunte la cámara de su teléfono inteligente hacia él. La IA identificará el billete y lo nombrará. Y si apunta la cámara a varios billetes al mismo tiempo, el dispositivo calculará inmediatamente su importe.
Si la aplicación es utilizada por una persona condiscapacidades visuales y auditivas, que no pueden escuchar la voz actuando, la denominación de un billete puede reconocerse mediante vibración; para diferentes denominaciones, se proporcionan sus propios modos.
Si el teléfono no puede reconocer la factura, puedetomar una foto y agregarla a la base de datos a través de la función "Ayuda para desarrolladores". Por lo general, la necesidad de esto surge al emitir notas conmemorativas nuevas o raras.
Además de la producción de dispositivos, Sensor-Techse dedican a la investigación científica en el campo de la sordoceguera. “Queremos que las personas sanas comprendan cómo perciben el mundo en general las personas que tienen problemas de visión o audición”, dice Andrey.
Ver esta publicación en Instagram
Entonces, en el laboratorio crearon simuladores de violaciones.Ver: Simulador de realidad virtual See My World y su versión móvil SMW Pro. La "interferencia" se superpone a la imagen en vivo o en una imagen estática. Como resultado, la imagen se distorsiona de acuerdo con el defecto visual específico. Por ejemplo, se vuelve borrosa o aparece un punto negro en el centro de la imagen.
"Simulamos los síntomas de cómo una persona condiversas deficiencias visuales. Literalmente: cómo mirar a través de los ojos de una persona que tiene cataratas, miopía, astigmatismo, glaucoma ”, dice Andrey. Además, utilizando el simulador, puede rastrear la dinámica de la enfermedad a lo largo del tiempo. Esto ayuda a los médicos y estudiantes a estudiar mejor el cuadro clínico y a los parientes cercanos del paciente, literalmente, mirar el mundo a través de sus ojos.
"Para que la imagen sea lo más precisa posible,para crearlo, se utiliza el cuadro clínico de la enfermedad. Además, aclaramos el resultado con el paciente, para que pueda confirmar si lo ve, si su visión aún no está gravemente afectada ”, explica Andrey.
Ahora los desarrolladores quieren promover sudispositivos en los mercados europeo y estadounidense. Está previsto poner los gadgets en Amazon y, además, llegar a organismos gubernamentales y organismos públicos que se ocupen de la problemática de las personas con discapacidad. Denis confía en que el mercado de desarrollos aplicados solo crecerá. Y el director del laboratorio Sensor-Tech ve su misión en hacer la vida más fácil a las personas con discapacidad gracias a la tecnología.
Lee mas:
La IA resolvió un problema biológico que los científicos han estado luchando durante 50 años
Un milisegundo en lugar de 30 billones de años para una tarea: China introdujo una nueva computadora cuántica
Los científicos están buscando personas que no puedan infectarse con COVID-19. Según sus datos, fabricarán un medicamento.