AI-briller lærte at "læse læber" uden at bruge et kamera

Forskere ved Cornell University har udviklet en EchoSpeech-grænseflade til at genkende stille tale.

som bruger akustisk perception ogkunstig intelligens til kontinuerlig genkendelse af op til 31 ustemte kommandoer baseret på læbe- og mundbevægelser. Informationsbehandlingen foregår lokalt på smartphonen, hvilket sikrer datafortrolighed.

EchoSpeech briller er udstyret med et par mikrofoner oghøjttalere, der er mindre end viskelæderet på enden af ​​en blyant og ikke bruger et kamera. Enheden sender og opfanger akustiske bølger, der indikerer ændringer i dynamikken i ansigtsmusklerne og munden. En deep learning-algoritme analyserer disse ekkoprofiler i realtid med en nøjagtighed på omkring 95 %. 

Sådan fungerer EchoSpeech. Billede: Ruidong Zhang et al.

De modtagne data overføres via Bluetooth tili realtid på smartphonen, behandles og gemmes lokalt på enheden. Udviklerne rapporterer, at EchoSpeech tager et par minutter at træne for en bestemt bruger.

For folk, der ikke kan tale, kan denne lydløse taleteknologi være en fantastisk stemmesynthesizer. Hun kan give patienterne deres stemme tilbage.

Ruidong Zhang, medforfatter af udviklingen

De fleste tavse talegenkendelsesteknologierer begrænset til et udvalgt sæt foruddefinerede kommandoer og kræver, at brugeren og den person, de taler med, ser ind i eller bærer kameraet. Dette komplicerer betydeligt muligheden for at bruge sådanne enheder. Derudover kræver en stor datastrøm behandling i skyen, hvilket krænker brugernes privatliv.

I sin nuværende form kan EchoSpeechbruge til at kommunikere med andre via din smartphone på steder, hvor det er ubelejligt eller upassende at tale, f.eks. i en støjende restaurant eller et stille bibliotek. Den tavse talegrænseflade kan også parres med en stylus og designsoftware som CAD, hvilket stort set eliminerer behovet for et tastatur og en mus, tilføjer udviklerne.

Læs mere:

Forskere har fundet ud af karakteren af ​​mærkelige radiosignaler fra en planet, der ligner Jorden

En rød glorie blussede op over Italien. Nu er dens natur blevet forklaret

Webb har fundet det ældste sorte hul i universet