Megtanultuk azonosítani a jelnyelvet a videohívások során

A kutatók bemutattak egy valós idejű jelnyelv-érzékelő rendszert. Meg tudja mondani, mikor

a beszélgetőpartner próbál mondani valamit vagy csakmozgatja a testet, a fejet, a karokat. A tudósok megjegyzik, hogy ez a feladat egyszerűnek tűnhet az ember számára, de korábban ilyen rendszer nem volt elérhető egyik videohívási szolgáltatásban sem - mindegyik reagál bármilyen hangra vagy emberi gesztusra.

A Google kutatóinak új fejlesztése képes errecsináld nagy hatékonysággal és alacsony késéssel. Míg a kutatók megjegyzik, hogy a jelnyelv észlelése késleltetéshez vagy romlott videóminőséghez vezet, ez a probléma megoldható, és maga a modell továbbra is könnyű és megbízható.

A rendszer először a videót futtatja az alábbi modellen keresztülaz úgynevezett PoseNet, amely felméri a test és a végtagok helyzetét az egyes képkockákban. Az egyszerűsített vizuális információkat elküldik egy modellnek, amely képzett az emberek számára a jelnyelvet használó videók videóinak elhelyezésére, és összehasonlítja a képet azzal, ahogyan az emberek általában megjelenítenek bizonyos szavakat.

A modell helyesen azonosítja a szavakat és kifejezéseket80% -os pontossággal, és további optimalizálással elérheti a 91,5% -ot. Figyelembe véve, hogy az "aktív hangszóró" észlelése a legtöbb szolgáltatásban késéssel működik, a kutatók úgy vélik, hogy ezek nagyon nagy számok.

Lásd még:

Lehetőség van termonukleáris reaktor létrehozására a Földön. Milyen következményei lesznek?

A Doomsday-gleccser veszélyesebbnek bizonyult, mint azt a tudósok gondolták. Elmondjuk a fő dolgot

A betegség 3. napján a legtöbb COVID-19 beteg elveszíti szaglásérzetét, és gyakran orrfolyástól szenved