Naučili smo prepoznati jezik znakova u videopozivima

Istraživači su predstavili sustav detekcije znakovnog jezika u stvarnom vremenu. Ona zna reći kada

sugovornik pokušava nešto reći ili samopomiče tijelo, glavu, ruke. Znanstvenici primjećuju da se ovaj zadatak može činiti lakim za osobu, ali ranije takav sustav nije bio dostupan ni u jednoj od usluga videopoziva - svi reagiraju na bilo koji zvuk ili ljudsku gestu.

Novi razvoj Googleovih istraživača je sposobanučinite to s velikom učinkovitošću i malom latencijom. Dok istraživači primjećuju da detekcija znakovnog jezika dovodi do kašnjenja ili pogoršanja kvalitete videa, ovaj se problem može riješiti, a sam model ostaje lagan i pouzdan.

Sustav prvo provodi video kroz model podpod nazivom PoseNet, koji procjenjuje položaj tijela i udova u svakom okviru. Pojednostavljene vizualne informacije šalju se modelu osposobljenom za pozicioniranje podataka iz videozapisa ljudi koji koriste znakovni jezik i uspoređuju sliku s načinom na koji ljudi obično prikazuju određene riječi.

Model ispravno identificira riječi i izraze s80% točnosti, a uz dodatnu optimizaciju može doseći 91,5%. S obzirom na to da otkrivanje "aktivnog govornika" u većini usluga funkcionira s kašnjenjem, istraživači smatraju da se radi o vrlo velikim brojevima.

Pogledajte i:

Na Zemlji je moguće stvoriti termonuklearni reaktor. Kakve će biti posljedice?

Ledenjak Doomsdaya pokazao se opasnijim nego što su znanstvenici mislili. Kažemo glavno

Na 3. dan bolesti, većina bolesnika s COVID-19 gubi smrad i često pate od curenja iz nosa