AI leerde spraak vertalen in video met gebarentaal

Een model gebaseerd op kunstmatige intelligentie (AI) heeft geleerd fotorealistische video's te maken

tolken gebarentaal. Deze avatars vertalen spraak in realtime naar taal en kunnen de toegang van gebruikers tot tientallen bronnen verbeteren.

Ben Sanders van de Universiteit van Surrey(VK) en collega's gebruikten een neuraal netwerk dat gesproken taal omzet in gebarentaal. Het SignGAN-systeem correleert deze tekens met een 3D-model van het menselijk skelet. Het team trainde AI op video van echte gebarentaalvertalers en leerde het om fotorealistische video te maken op basis van afbeeldingen.

Slimme apparaten van IKEA gecombineerd met scenario's

Eerder kwam Google met een model datlees gebarentaal tijdens videogesprekken. AI kan "actief gesproken" identificeren, maar negeert de gesprekspartner als hij alleen zijn handen of hoofd beweegt.

Onderzoekers presenteerden een detectiesysteemrealtime gebarentaal. Ze kan onderscheiden wanneer de gesprekspartner iets probeert te zeggen of gewoon zijn lichaam, hoofd, armen beweegt. Wetenschappers merken op dat deze taak voor een persoon misschien gemakkelijk lijkt, maar eerder was er geen dergelijk systeem in een van de video-oproepdiensten - ze reageren allemaal op elk geluid of gebaar van een persoon.

Lees ook

Satellietbeelden hebben bevestigd dat het klimaat op aarde ongelijk verandert

Vond het vermeende koninkrijk van de verdwenen Hettieten. Wat hebben archeologen gevonden?

Quantum nanodiamanten kunnen de nauwkeurigheid van medische tests verbeteren