Aprendimos a identificar el lenguaje de señas en las videollamadas.

Los investigadores han presentado un sistema de detección de lengua de signos en tiempo real. Ella puede decir cuando

el interlocutor está tratando de decir algo o simplementemueve cuerpo, cabeza, brazos. Los científicos señalan que esta tarea puede parecer fácil para una persona, pero anteriormente dicho sistema no estaba disponible en ninguno de los servicios de videollamadas: todos responden a cualquier sonido o gesto humano.

El nuevo desarrollo de los investigadores de Google es capaz dehágalo con gran eficiencia y baja latencia. Si bien los investigadores señalan que la detección del lenguaje de señas conduce a un retraso o degradación de la calidad del video, este problema puede resolverse y el modelo en sí sigue siendo liviano y confiable.

El sistema primero ejecuta el video a través del modelo bajollamado PoseNet, que estima la posición del cuerpo y las extremidades en cada cuadro. La información visual simplificada se envía a un modelo capacitado para posicionar datos de videos de personas que usan lenguaje de señas y compara la imagen con la forma en que las personas suelen mostrar ciertas palabras.

El modelo identifica correctamente palabras y expresiones con80% de precisión y con una optimización adicional puede alcanzar el 91,5%. Teniendo en cuenta que la detección de un "hablante activo" en la mayoría de los servicios funciona con retrasos, los investigadores creen que se trata de números muy grandes.

Ver tambien

Es posible crear un reactor termonuclear en la Tierra. Cuales seran las consecuencias?

El glaciar Doomsday resultó ser más peligroso de lo que pensaban los científicos. Contamos lo principal

En el día 3 de la enfermedad, la mayoría de los pacientes con COVID-19 pierden el sentido del olfato y a menudo sufren de secreción nasal.