Gli occhiali AI hanno insegnato a "leggere le labbra" senza usare una fotocamera

I ricercatori della Cornell University hanno sviluppato un'interfaccia EchoSpeech per riconoscere il parlato silenzioso.

che utilizza la percezione acustica eintelligenza artificiale per il riconoscimento continuo fino a 31 comandi non vocali basati sui movimenti delle labbra e della bocca. L'elaborazione delle informazioni viene effettuata localmente sullo smartphone, il che garantisce la riservatezza dei dati.

Gli occhiali EchoSpeech sono dotati di una coppia di microfoni ealtoparlanti più piccoli della gomma all'estremità di una matita e che non utilizzano una fotocamera. Il dispositivo invia e capta onde acustiche che indicano cambiamenti nella dinamica dei muscoli facciali e della bocca. Un algoritmo di deep learning analizza questi profili di eco in tempo reale con una precisione di circa il 95%. 

Come funziona EchoSpeech. Immagine: Ruidong Zhang et al.

I dati ricevuti vengono trasmessi tramite Bluetooth ain tempo reale sullo smartphone, vengono elaborati e memorizzati localmente sul dispositivo. Gli sviluppatori riferiscono che EchoSpeech impiega alcuni minuti per addestrarsi per un particolare utente.

Per le persone che non possono parlare, questa tecnologia vocale silenziosa può essere un ottimo sintetizzatore vocale. Può restituire ai pazienti la loro voce.

Ruidong Zhang, coautore dello sviluppo

La maggior parte delle tecnologie di riconoscimento vocale silenziososono limitati a un set selezionato di comandi predefiniti e richiedono che l'utente e la persona con cui stanno parlando guardino o indossino la videocamera. Ciò complica notevolmente la possibilità di utilizzare tali dispositivi. Inoltre, un flusso di dati di grandi dimensioni richiede l'elaborazione nel cloud, il che viola la privacy degli utenti.

Nella sua forma attuale, EchoSpeech puòutilizzare per comunicare con gli altri tramite lo smartphone in luoghi in cui parlare è scomodo o inappropriato, come in un ristorante rumoroso o in una biblioteca tranquilla. L'interfaccia vocale silenziosa può anche essere abbinata a uno stilo e a un software di progettazione come CAD, eliminando virtualmente la necessità di tastiera e mouse, aggiungono gli sviluppatori.

Leggi di più:

Gli scienziati hanno scoperto la natura di strani segnali radio provenienti da un pianeta simile alla Terra

Un alone rosso divampò sull'Italia. Ora la sua natura è stata spiegata

Webb ha scoperto il buco nero più antico dell'universo