Az AI megtanulta lefordítani a beszédet videofelvételre jelnyelven

Egy mesterséges intelligencián (AI) alapuló modell megtanult fotórealisztikus videókat készíteni

jelnyelvi tolmácsok. Ezek az avatarok valós időben fordítják le a beszédet nyelvre, és javíthatják a felhasználók hozzáférését több tucat forráshoz.

Ben Sanders, a Surrey Egyetem munkatársa(Egyesült Királyság) és munkatársai egy neurális hálózatot használtak, amely a beszélt nyelvet jelnyelvé alakítja. A SignGAN rendszer ezeket a jeleket korrelálja az emberi csontváz 3D modelljével. A csapat valódi jelnyelvi fordítókról készített videofelvételekre képezte az AI-t, és megtanította fotorealisztikus videó készítésére képek alapján.

Az IKEA okos eszközeit a forgatókönyvek egyesítik

Korábban a Google előállt egy olyan modellel, amely képesjelbeszéd olvasása videohívások közben. Az AI képes azonosítani az "aktív beszédet", de figyelmen kívül hagyja a beszélgetőtársat, ha csak a kezét vagy a fejét mozgatja.

A kutatók bemutattak egy detektálórendszertvalós idejű jelnyelv. Meg tudja különböztetni, amikor a beszélgetőpartner megpróbál mondani valamit, vagy egyszerűen megmozgatja a testét, a fejét, a karját. A tudósok megjegyzik, hogy ez a feladat könnyűnek tűnhet egy személy számára, de korábban egyik videóhívás-szolgáltatásban sem volt ilyen rendszer - mindannyian reagálnak egy személy bármilyen hangjára vagy gesztusára.

Olvassa el

A műholdas képek megerősítették, hogy a Föld éghajlata egyenetlenül változik

Megtalálta az eltűnt hettiták állítólagos királyságát. Mit találtak a régészek?

A kvantum nanodiamondok javíthatják az orvosi vizsgálatok pontosságát