Дослідники з Корнельського університету розробили інтерфейс EchoSpeech для розпізнавання тихої мови.
Окуляри EchoSpeech оснащені парою мікрофонів тадинаміків, розмір яких менший ніж гумка на кінці олівця, і не використовують камеру. Пристрій відправляє та вловлює акустичні хвилі, які показують зміни динаміки лицьових м'язів та рота. Алгоритм глибокого навчання аналізує ці луна-профілі в режимі реального часу з точністю близько 95%.
Принцип роботи EchoSpeech. Зображення: Ruidong Zhang et al.
Отримані дані передаються через Bluetoothрежимі реального часу на смартфон, обробляються та зберігаються локально на пристрої. Розробники повідомляють, що EchoSpeech має кілька хвилин для навчання для конкретного користувача.
Для людей, які не можуть говорити, ця технологія безмовної мови може стати чудовим голосовим синтезатором. Вона може повернути пацієнтам їхній голос.
Жуйдун Чжан, співавтор розробки
Більшість технологій розпізнавання німої мовиобмежені обраним набором наперед визначених команд і вимагають, щоб користувач та його співрозмовник дивилися у камеру чи носили її. Це ускладнює можливості застосування таких пристроїв. Крім того, великий потік даних вимагає обробки у хмарі, що порушує конфіденційність користувачів.
У своєму нинішньому вигляді EchoSpeech можнавикористовувати для спілкування з іншими через смартфон у місцях, де мова незручна чи недоречна, наприклад, у галасливому ресторані чи тихій бібліотеці. Безшумний мовний інтерфейс також можна використовувати в парі зі стілусом та програмним забезпеченням для проектування, таким як САПР, практично виключаючи необхідність у клавіатурі та миші, додають розробники.
Читати далі:
Вчені з'ясували природу дивних радіосигналів із планети, схожої на Землю
Червоний ореол спалахнув над Італією. Тепер його природу пояснили
«Вебб» знайшов найстарішу чорну дірку у Всесвіті