Vi lärde oss att identifiera teckenspråk i videosamtal

Forskare har presenterat ett teckenspråksdetekteringssystem i realtid. Hon kan säga när

samtalspartnern försöker säga något eller bararör kropp, huvud, armar. Forskare noterar att denna uppgift kan verka lätt för en person, men tidigare var ett sådant system inte tillgängligt i någon av videosamtalstjänsterna - de svarar alla på alla ljud eller mänskliga gester.

Ny utveckling av Google-forskare kangör det med stor effektivitet och låg latens. Medan forskarna noterar att detekteringen av teckenspråk leder till en fördröjning eller försämrad videokvalitet kan detta problem lösas och själva modellen förblir lätt och pålitlig.

Systemet kör först videon genom modellen underkallas PoseNet, som bedömer kroppens och lemmarnas position i varje ram. Förenklad visuell information skickas till en modell som är utbildad för att positionera data från videor av personer som använder teckenspråk och jämför bilden med hur människor brukar visa vissa ord.

Modellen identifierar ord och uttryck korrekt med80% noggrannhet och med ytterligare optimering kan den nå 91,5%. Med tanke på att detekteringen av en "aktiv högtalare" i de flesta tjänster fungerar med förseningar, tror forskarna att det är mycket stort antal.

Se även:

Det är möjligt att skapa en termonukleär reaktor på jorden. Vilka blir konsekvenserna?

Doomsday-glaciären visade sig vara farligare än forskare trodde. Vi berättar det viktigaste

På sjukdagens dag 3 förlorar de flesta COVID-19-patienter luktkänslan och lider ofta av en rinnande näsa