Lentes de IA enseñados a "leer labios" sin usar una cámara

Investigadores de la Universidad de Cornell han desarrollado una interfaz EchoSpeech para reconocer el habla en voz baja.

que utiliza la percepción acústica yInteligencia artificial para el reconocimiento continuo de hasta 31 comandos sordos basados ​​en movimientos de labios y boca. El procesamiento de la información se realiza localmente en el teléfono inteligente, lo que garantiza la confidencialidad de los datos.

Las gafas EchoSpeech están equipadas con un par de micrófonos yparlantes que son más pequeños que el borrador en la punta de un lápiz y no usan una cámara. El dispositivo envía y capta ondas acústicas que indican cambios en la dinámica de los músculos faciales y de la boca. Un algoritmo de aprendizaje profundo analiza estos perfiles de eco en tiempo real con una precisión de aproximadamente el 95%. 

Cómo funciona EchoSpeech. Imagen: Ruidong Zhang et al.

Los datos recibidos se transmiten a través de Bluetooth aen tiempo real en el teléfono inteligente, se procesan y almacenan localmente en el dispositivo. Los desarrolladores informan que EchoSpeech tarda unos minutos en entrenarse para un usuario en particular.

Para las personas que no pueden hablar, esta tecnología de voz silenciosa puede ser un gran sintetizador de voz. Puede devolverles a los pacientes su voz.

Ruidong Zhang, coautor del desarrollo

Las tecnologías de reconocimiento de voz más silenciosasse limitan a un conjunto selecto de comandos predefinidos y requieren que el usuario y la persona con la que está hablando miren o usen la cámara. Esto complica significativamente la posibilidad de usar tales dispositivos. Además, un gran flujo de datos requiere procesamiento en la nube, lo que viola la privacidad del usuario.

En su forma actual, EchoSpeech puedeÚselo para comunicarse con otras personas a través de su teléfono inteligente en lugares donde hablar es inconveniente o inapropiado, como en un restaurante ruidoso o una biblioteca tranquila. La interfaz de voz silenciosa también se puede combinar con un lápiz óptico y un software de diseño como CAD, eliminando virtualmente la necesidad de un teclado y un mouse, agregan los desarrolladores.

Lee mas:

Los científicos han descubierto la naturaleza de las extrañas señales de radio de un planeta similar a la Tierra

Un halo rojo se encendió sobre Italia. Ahora se ha explicado su naturaleza.

Webb ha encontrado el agujero negro más antiguo del universo