Brýle s umělou inteligencí se naučily „číst ze rtů“ bez použití fotoaparátu

Vědci z Cornell University vyvinuli rozhraní EchoSpeech pro rozpoznávání tiché řeči.

která využívá akustického vnímání aumělá inteligence pro nepřetržité rozpoznávání až 31 neznělých příkazů na základě pohybů rtů a úst. Zpracování informací probíhá lokálně na smartphonu, což zajišťuje důvěrnost dat.

Brýle EchoSpeech jsou vybaveny dvojicí mikrofonů areproduktory, které jsou menší než guma na konci tužky a nepoužívejte fotoaparát. Zařízení vysílá a zachycuje akustické vlny, které indikují změny v dynamice obličejových svalů a úst. Algoritmus hlubokého učení analyzuje tyto profily ozvěny v reálném čase s přesností asi 95 %.

Jak funguje EchoSpeech. Obrázek: Ruidong Zhang a kol.

Přijatá data jsou přenášena přes Bluetooth dov reálném čase na smartphonu, jsou zpracovávány a ukládány lokálně v zařízení. Vývojáři hlásí, že EchoSpeech trvá několik minut, než se trénuje pro konkrétního uživatele.

Pro lidi, kteří nemohou mluvit, může být tato technologie tiché řeči skvělým hlasovým syntezátorem. Dokáže pacientům vrátit jejich hlas.

Ruidong Zhang, spoluautor vývoje

Většina technologií pro rozpoznávání tiché řečijsou omezeny na vybranou sadu předdefinovaných příkazů a vyžadují, aby se uživatel a osoba, se kterou mluví, dívali do kamery nebo ji nosili. To výrazně komplikuje možnost použití takových zařízení. Velký datový tok navíc vyžaduje zpracování v cloudu, což narušuje soukromí uživatelů.

V současné podobě EchoSpeech umípoužívat ke komunikaci s ostatními prostřednictvím smartphonu na místech, kde je mluvení nepohodlné nebo nevhodné, například v hlučné restauraci nebo tiché knihovně. Rozhraní tichého hlasu lze také spárovat se stylusem a designovým softwarem, jako je CAD, což prakticky eliminuje potřebu klávesnice a myši, dodávají vývojáři.

Přečtěte si více:

Vědci přišli na povahu podivných rádiových signálů z planety podobné Zemi

Nad Itálií se rozzářilo červené halo. Nyní byla jeho povaha vysvětlena

Webb našel nejstarší černou díru ve vesmíru