Научихме се да идентифицираме езика на жестовете при видео разговори

Изследователите представиха система за откриване на езика на знаците в реално време. Тя може да каже кога

събеседникът се опитва да каже нещо или простодвижи тялото, главата, ръцете. Учените отбелязват, че тази задача може да изглежда лесна за човек, но преди това такава система не е била налична в нито една от услугите за видео разговори - всички те реагират на всеки звук или човешки жест.

Новата разработка на изследователите на Google е способнанаправете го с голяма ефективност и ниска латентност. Докато изследователите отбелязват, че откриването на жестовия език води до забавяне или влошено качество на видеото, този проблем може да бъде решен, а самият модел остава лек и надежден.

Системата първо пуска видеото през модела поднаречен PoseNet, който оценява позицията на тялото и крайниците във всеки кадър. Опростена визуална информация се изпраща до модел, обучен да позиционира данни от видеоклипове на хора, използващи жестомимичен език, и сравнява изображението с това как хората обикновено показват определени думи.

Моделът правилно идентифицира думи и изрази с80% точност, а с допълнителна оптимизация може да достигне 91,5%. Като се има предвид, че откриването на „активен говорител“ в повечето услуги се забавя, изследователите смятат, че това са много високи цифри.

Вижте също:

Възможно е да се създаде термоядрен реактор на Земята. Какви ще са последиците?

Ледникът на Страшния съд се оказа по-опасен, отколкото учените смятаха. Казваме основното

На 3-ти ден от заболяването повечето пациенти с COVID-19 губят обонянието си и често страдат от хрема