Opimme tunnistamaan viittomakielen videopuheluissa

Tutkijat ovat esittäneet reaaliaikaisen viittomakielen tunnistusjärjestelmän. Hän osaa kertoa milloin

keskustelukumppani yrittää sanoa jotain tai vainliikuttaa vartaloa, päätä, käsiä. Tutkijat huomauttavat, että tämä tehtävä saattaa tuntua helpolta ihmiselle, mutta aiemmin tällaista järjestelmää ei ollut saatavilla missään videopuhelupalvelussa - ne kaikki reagoivat mihin tahansa ääneen tai ihmisen eleeseen.

Google-tutkijoiden uusi kehitys pystyytee se erittäin tehokkaasti ja matalalla viiveellä. Vaikka tutkijat huomauttavat, että viittomakielen havaitseminen johtaa viiveeseen tai heikentyneeseen videon laatuun, tämä ongelma voidaan ratkaista, ja itse malli on edelleen kevyt ja luotettava.

Järjestelmä suorittaa videon ensin alla olevan mallin läpinimeltään PoseNet, joka arvioi kehon ja raajojen asennon jokaisessa kehyksessä. Yksinkertaistettu visuaalinen tieto lähetetään malliin, joka on koulutettu sijoittamaan tietoja viittomakielen ihmisten videoista ja vertaa kuvaa siihen, miten ihmiset yleensä näyttävät tiettyjä sanoja.

Malli tunnistaa sanat ja ilmaisut oikein80% tarkkuudella, ja lisäoptimoinnilla se voi saavuttaa 91,5%. Ottaen huomioon, että "aktiivisen puhujan" havaitseminen useimmissa palveluissa toimii viiveellä, tutkijat uskovat, että näitä on hyvin paljon.

Katso myös:

Maapallolle on mahdollista luoda lämpöydinreaktori. Mitkä ovat seuraukset?

Tuomiopäivän jäätikkö osoittautui vaarallisemmaksi kuin tutkijat ajattelivat. Kerromme pääasia

Sairauspäivänä 3 useimmat COVID-19-potilaat menettävät hajuaistunsa ja kärsivät usein nenästä