Mēs iemācījāmies identificēt zīmju valodu videozvanos

Pētnieki ir iesnieguši reāllaika zīmju valodas noteikšanas sistēmu. Viņa var pateikt, kad

sarunu biedrs mēģina kaut ko pateikt vai vienkāršikustina ķermeni, galvu, rokas. Zinātnieki atzīmē, ka cilvēkam šis uzdevums var šķist viegls, taču iepriekš šāda sistēma nebija pieejama nevienā no videozvanu servisiem – tie visi reaģē uz jebkuru skaņu vai cilvēka žestu.

Jauna Google pētnieku attīstība ir spējīgadariet to ar lielu efektivitāti un zemu latentumu. Lai gan pētnieki atzīmē, ka zīmju valodas noteikšana noved pie novēlotas vai pasliktinātas video kvalitātes, šo problēmu var atrisināt, un pats modelis paliek viegls un uzticams.

Sistēma vispirms izlaiž video, izmantojot modeli zemsauc PoseNet, kas novērtē ķermeņa un ekstremitāšu stāvokli katrā rāmī. Vienkāršota vizuālā informācija tiek nosūtīta modelim, kas apmācīts pozicionēt datus no cilvēku videoklipiem, izmantojot zīmju valodu, un attēlu salīdzina ar to, kā cilvēki parasti parāda noteiktus vārdus.

Modelis pareizi identificē vārdus un izteicienus ar80% precizitāte, un ar papildu optimizāciju tā var sasniegt 91,5%. Ņemot vērā, ka "aktīvā runātāja" noteikšana vairumā pakalpojumu darbojas ar kavēšanos, pētnieki uzskata, ka tie ir ļoti lieli skaitļi.

Skatiet arī:

Uz Zemes ir iespējams izveidot kodolreaktoru. Kādas būs sekas?

Doomsday ledājs izrādījās bīstamāks, nekā domāja zinātnieki. Mēs sakām galveno

Slimības 3. dienā lielākajai daļai COVID-19 pacientu zūd oža un bieži cieš no iesnas