У відеодзвінках навчилися визначати мову жестів

Дослідники представили систему виявлення мови жестів у часі. Вона може відрізняти, коли

співрозмовник намагається сказати щось чи просторухає тілом, головою, руками. Вчені зазначають, що це завдання може здатися легким для людини, проте раніше такої системи не було в жодному з сервісів відеодзвінків — усі вони реагують на будь-який звук чи жест людини.

Нова розробка дослідників Google здатнаробити це з великою ефективністю і невеликими затримками. Поки дослідники відзначають, що визначення мови жестів призводять до затримки або погіршення якості відео, однак цю проблему можна вирішити, а сама модель залишилась легкою і надійною.

Спочатку система проганяє відео через модель підназвою PoseNet, яка оцінює положення тіла і кінцівок в кожному кадрі. Спрощена візуальна інформація надсилається моделі, навченої позиціонуванню даних з відео людей, що використовують мову жестів, і порівнює зображення з тим, як люди зазвичай показують ті або інші слова.

Модель правильно определяет слова и выражения с 80% точністю, а з додатковою оптимізацією може досягти і 91,5%. З огляду на, що виявлення «активного мовця» в більшості сервісів працює із затримками, дослідники вважають, що це дуже великі цифри.

Читайте також:

Створити термоядерний реактор на Землі реально. Які будуть наслідки?

Льодовик «Судного дня» виявився небезпечніше, ніж думали вчені. розповідаємо головне

На 3 день хвороби більшість хворих COVID-19 втрачають нюх і часто страждають нежиттю