Naukowcy z Cornell University opracowali interfejs EchoSpeech do rozpoznawania cichej mowy.
Okulary EchoSpeech są wyposażone w parę mikrofonów igłośniki mniejsze niż gumka na końcu ołówka i nie korzystają z aparatu. Urządzenie wysyła i odbiera fale akustyczne, które sygnalizują zmiany dynamiki mięśni twarzy i jamy ustnej. Algorytm głębokiego uczenia analizuje te profile echa w czasie rzeczywistym z dokładnością około 95%.
Jak działa EchoSpeech. Zdjęcie: Ruidong Zhang i in.
Otrzymane dane są przesyłane przez Bluetooth dow czasie rzeczywistym na smartfonie, są przetwarzane i przechowywane lokalnie na urządzeniu. Twórcy donoszą, że szkolenie EchoSpeech dla konkretnego użytkownika zajmuje kilka minut.
Dla osób, które nie mogą mówić, ta technologia cichej mowy może być świetnym syntezatorem głosu. Potrafi przywrócić pacjentom głos.
Ruidong Zhang, współautor opracowania
Większość cichych technologii rozpoznawania mowysą ograniczone do wybranego zestawu predefiniowanych poleceń i wymagają od użytkownika i osoby, z którą rozmawia, zaglądania do aparatu lub noszenia go. To znacznie komplikuje możliwość korzystania z takich urządzeń. Ponadto duży strumień danych wymaga przetwarzania w chmurze, co narusza prywatność użytkowników.
W obecnej formie EchoSpeech możeużywać do komunikowania się z innymi za pośrednictwem smartfona w miejscach, w których mówienie jest niewygodne lub nieodpowiednie, na przykład w hałaśliwej restauracji lub cichej bibliotece. Interfejs cichej mowy można również sparować z rysikiem i oprogramowaniem do projektowania, takim jak CAD, praktycznie eliminując potrzebę używania klawiatury i myszy, dodają twórcy.
Czytaj więcej:
Naukowcy odkryli naturę dziwnych sygnałów radiowych z planety podobnej do Ziemi
Nad Włochami rozbłysła czerwona aureola. Teraz wyjaśniono jego charakter
Webb odkrył najstarszą czarną dziurę we wszechświecie