Tekoälylasit opettivat "lukemaan huulilta" ilman kameraa

Cornellin yliopiston tutkijat ovat kehittäneet EchoSpeech-käyttöliittymän hiljaisen puheen tunnistamiseen.

joka käyttää akustista havaintoa jatekoäly jopa 31 äänettömän käskyn jatkuvaan tunnistamiseen huulten ja suun liikkeiden perusteella. Tietojen käsittely tapahtuu paikallisesti älypuhelimessa, mikä varmistaa tietojen luottamuksellisuuden.

EchoSpeech lasit on varustettu mikrofoniparilla jakaiuttimet, jotka ovat pienempiä kuin kynän päässä oleva pyyhekumi eivätkä käytä kameraa. Laite lähettää ja poimii akustisia aaltoja, jotka osoittavat muutoksia kasvolihasten ja suun dynamiikassa. Syväoppimisalgoritmi analysoi nämä kaikuprofiilit reaaliajassa noin 95 %:n tarkkuudella.

Kuinka EchoSpeech toimii. Kuva: Ruidong Zhang et al.

Vastaanotetut tiedot lähetetään Bluetoothin kautta osoitteeseenreaaliajassa älypuhelimessa, käsitellään ja tallennetaan paikallisesti laitteeseen. Kehittäjät raportoivat, että EchoSpeechin harjoitteleminen tietylle käyttäjälle kestää muutaman minuutin.

Ihmisille, jotka eivät osaa puhua, tämä hiljainen puhetekniikka voi olla loistava äänisyntetisaattori. Hän voi antaa potilaille äänensä takaisin.

Ruidong Zhang, kehityksen toinen kirjoittaja

Useimmat hiljaiset puheentunnistustekniikatovat rajoitettu tiettyihin ennalta määritettyihin komentoihin ja edellyttävät, että käyttäjä ja henkilö, jonka kanssa he puhuvat, katsovat kameraan tai käyttävät sitä. Tämä vaikeuttaa merkittävästi tällaisten laitteiden käyttöä. Lisäksi suuri tietovirta vaatii käsittelyä pilvessä, mikä loukkaa käyttäjän yksityisyyttä.

Nykyisessä muodossaan EchoSpeech voikäytä kommunikoimaan muiden kanssa älypuhelimesi kautta paikoissa, joissa puhuminen on hankalaa tai sopimatonta, kuten meluisassa ravintolassa tai hiljaisessa kirjastossa. Hiljaisen puheen käyttöliittymä voidaan myös yhdistää kynään ja suunnitteluohjelmistoon, kuten CAD, mikä käytännössä eliminoi näppäimistön ja hiiren tarpeen, kehittäjät lisäävät.

Lue lisää:

Tiedemiehet ovat selvittäneet maapallon kaltaisen planeetan outojen radiosignaalien luonteen

Italian yllä leimahti punainen sädekehä. Nyt sen luonne on selitetty

Webb on löytänyt maailmankaikkeuden vanhimman mustan aukon