Óculos de IA ensinados a "ler lábios" sem usar uma câmera

Pesquisadores da Universidade Cornell desenvolveram uma interface EchoSpeech para reconhecer fala baixa.

que utiliza percepção acústica einteligência artificial para reconhecimento contínuo de até 31 comandos surdos com base nos movimentos dos lábios e da boca. O processamento das informações é realizado localmente no smartphone, o que garante a confidencialidade dos dados.

Os óculos EchoSpeech são equipados com um par de microfones ealto-falantes menores que a borracha na ponta de um lápis e que não usam câmera. O aparelho envia e capta ondas acústicas que indicam alterações na dinâmica dos músculos faciais e da boca. Um algoritmo de aprendizagem profunda analisa esses perfis de eco em tempo real com uma precisão de cerca de 95%.

Como funciona o EchoSpeech. Imagem: Ruidong Zhang et al.

Os dados recebidos são transmitidos via Bluetooth paraem tempo real no smartphone, são processados ​​e armazenados localmente no dispositivo. Os desenvolvedores relatam que o EchoSpeech leva alguns minutos para treinar para um usuário específico.

Para pessoas que não podem falar, esta tecnologia de fala silenciosa pode ser um ótimo sintetizador de voz. Ela pode devolver a voz aos pacientes.

Ruidong Zhang, co-autor do desenvolvimento

A maioria das tecnologias silenciosas de reconhecimento de falasão limitados a um conjunto seleto de comandos predefinidos e exigem que o usuário e a pessoa com quem está falando olhem ou usem a câmera. Isso complica significativamente a possibilidade de usar tais dispositivos. Além disso, um grande fluxo de dados requer processamento na nuvem, o que viola a privacidade do usuário.

Em sua forma atual, o EchoSpeech podeuse para se comunicar com outras pessoas por meio de seu smartphone em locais onde falar é inconveniente ou inapropriado, como em um restaurante barulhento ou em uma biblioteca silenciosa. A interface de fala silenciosa também pode ser combinada com uma caneta e um software de design, como CAD, praticamente eliminando a necessidade de teclado e mouse, acrescentam os desenvolvedores.

Consulte Mais informação:

Cientistas descobriram a natureza de estranhos sinais de rádio de um planeta semelhante à Terra

Um halo vermelho brilhou sobre a Itália. Agora sua natureza foi explicada

Webb encontrou o buraco negro mais antigo do universo