Ochelarii AI au învățat să „citească buzele” fără a folosi o cameră

Cercetătorii de la Universitatea Cornell au dezvoltat interfața EchoSpeech pentru recunoașterea vorbirii soft,

care utilizează percepția acustică și inteligența artificială pentru a recunoaște continuu până la 31 de comenzi nevocalizate bazate pe mișcările buzelor și gurii.Prelucrarea informațiilor se efectuează local pe smartphone, ceea ce asigură confidențialitatea datelor.

Ochelarii EchoSpeech sunt echipați cu o pereche de microfoane șidifuzoare care sunt mai mici decât radiera de la capătul unui creion și nu folosesc o cameră. Aparatul trimite și preia unde acustice care indică schimbări în dinamica mușchilor faciali și a gurii. Un algoritm de învățare profundă analizează aceste profiluri de ecou în timp real, cu o precizie de aproximativ 95%.

Cum funcționează EchoSpeech. Imagine: Ruidong Zhang și colab.

Datele primite sunt transmise prin Bluetooth cătreîn timp real pe smartphone, sunt procesate și stocate local pe dispozitiv. Dezvoltatorii raportează că EchoSpeech durează câteva minute pentru a se antrena pentru un anumit utilizator.

Pentru persoanele care nu pot vorbi, această tehnologie de vorbire silențioasă poate fi un excelent sintetizator de voce. Ea le poate da pacienților vocea înapoi.

Ruidong Zhang, co-autor al dezvoltării

Cele mai silențioase tehnologii de recunoaștere a vorbiriisunt limitate la un set select de comenzi predefinite și solicită utilizatorului și persoanei cu care vorbesc să privească sau să poarte camera. Acest lucru complică semnificativ posibilitatea de a utiliza astfel de dispozitive. În plus, un flux mare de date necesită procesare în cloud, ceea ce încalcă confidențialitatea utilizatorului.

În forma sa actuală, EchoSpeech poateutilizați pentru a comunica cu ceilalți prin intermediul smartphone-ului dvs. în locuri în care vorbirea este incomod sau inadecvat, cum ar fi într-un restaurant zgomotos sau într-o bibliotecă liniștită. Interfața de vorbire silențioasă poate fi, de asemenea, asociată cu un stylus și un software de design, cum ar fi CAD, eliminând practic nevoia de tastatură și mouse, adaugă dezvoltatorii.

Citeste mai mult:

Oamenii de știință au descoperit natura semnalelor radio ciudate de pe o planetă asemănătoare Pământului

Un halou roșu a aprins peste Italia. Acum natura sa a fost explicată

Webb a găsit cea mai veche gaură neagră din univers