Naučili jsme se identifikovat znakovou řeč ve videohovorech

Výzkumníci představili systém detekce znakové řeči v reálném čase.rozlišovat, kdy

Účastník rozhovoru se snaží něco říct nebo jen pohybuje tělem, hlavou, pažemi.Vědci poznamenávají, že tento úkol se může zdát pro člověka snadný, ale dříve žádný takový systém neexistoval v žádné ze služeb videohovorů - všechny reagujína jakýkoli zvuk nebo gesto osoby.

Nový vývoj provedený výzkumníky Google je schopendělejte to s velkou účinností a nízkou latencí. Zatímco vědci poznamenávají, že detekce znakového jazyka vede ke zpoždění nebo ke zhoršení kvality videa, lze tento problém vyřešit a samotný model zůstává lehký a spolehlivý.

Systém nejprve spustí video prostřednictvím modelu podnazývá se PoseNet, která hodnotí polohu těla a končetin v každém snímku. Zjednodušené vizuální informace se zasílají modelu vyškolenému k určování polohy dat z videí lidí používajících znakovou řeč a porovnávají obrázek s tím, jak lidé obvykle zobrazují určitá slova.

Model správně identifikuje slova a výrazy s80% přesnost a s další optimalizací může dosáhnout 91,5%. Vzhledem k tomu, že detekce „aktivního mluvčího“ ve většině služeb funguje se zpožděním, vědci se domnívají, že se jedná o velmi velké počty.

Viz také:

Na Zemi je možné vytvořit termonukleární reaktor. Jaké to bude mít důsledky?

Ledovec Doomsday se ukázal být nebezpečnějším, než si vědci mysleli. Říkáme hlavní věc

Ve 3. dni nemoci většina pacientů COVID-19 ztratí čich a často trpí rýmou.