AI aprendió a traducir el habla en video con lenguaje de señas

Un modelo basado en inteligencia artificial (IA) ha aprendido a crear vídeos fotorrealistas

Intérpretes de lengua de signos. Estos avatares traducen la voz al lenguaje en tiempo real y pueden mejorar el acceso de los usuarios a decenas de fuentes.

Ben Sanders de la Universidad de Surrey(Reino Unido) y sus colegas utilizaron una red neuronal que convierte el lenguaje hablado en lenguaje de señas. El sistema SignGAN correlaciona estos signos con un modelo 3D del esqueleto humano. El equipo entrenó a la IA en video de traductores de lenguaje de señas reales y le enseñó a crear videos fotorrealistas basados ​​en imágenes.

Dispositivos inteligentes de IKEA combinados con escenarios

Anteriormente, Google ideó un modelo que puedeleer el lenguaje de señas durante las videollamadas. La IA puede identificar "hablar activamente", pero ignora al interlocutor si solo mueve las manos o la cabeza.

Los investigadores presentaron un sistema de detecciónlenguaje de señas en tiempo real. Ella puede distinguir cuando el interlocutor intenta decir algo o simplemente mueve su cuerpo, cabeza, brazos. Los científicos señalan que esta tarea puede parecer fácil para una persona, pero anteriormente no existía tal sistema en ninguno de los servicios de videollamadas; todos responden a cualquier sonido o gesto de una persona.

Leer también

Las imágenes de satélite han confirmado que el clima de la Tierra está cambiando de manera desigual

Encontró el supuesto reino de los hititas desaparecidos. ¿Qué han encontrado los arqueólogos?

Los nanodiamantes cuánticos pueden mejorar la precisión de las pruebas médicas