AI lernte, Sprache in Gebärdensprache in Video zu übersetzen

Ein auf künstlicher Intelligenz (KI) basierendes Modell hat gelernt, fotorealistische Videos zu erstellen

Gebärdensprachdolmetscher. Diese Avatare übersetzen Sprache in Echtzeit in Sprache und können den Benutzerzugriff auf Dutzende von Quellen verbessern.

Ben Sanders von der University of Surrey(UK) und Kollegen verwendeten ein neuronales Netzwerk, das gesprochene Sprache in Gebärdensprache umwandelt. Das SignGAN-System ordnet diese Zeichen einem 3D-Modell des menschlichen Skeletts zu. Das Team schulte KI auf Video von Übersetzern für echte Gebärdensprache und brachte ihr bei, fotorealistische Videos basierend auf Bildern zu erstellen.

IKEA Smart Devices kombiniert mit Szenarien

Zuvor hatte Google ein Modell entwickelt, das dies kannLesen Sie die Gebärdensprache bei Videoanrufen. KI kann "aktiv sprechen" identifizieren, ignoriert jedoch den Gesprächspartner, wenn er nur seine Hände oder seinen Kopf bewegt.

Die Forscher stellten ein Detektionssystem vorEchtzeit Gebärdensprache. Sie kann unterscheiden, wenn der Gesprächspartner versucht, etwas zu sagen oder einfach seinen Körper, Kopf und Arme bewegt. Wissenschaftler stellen fest, dass diese Aufgabe für eine Person einfach zu sein scheint, aber zuvor gab es in keinem der Videoanrufdienste ein solches System - sie alle reagieren auf Geräusche oder Gesten einer Person.

Lesen Sie auch

Satellitenbilder haben bestätigt, dass sich das Erdklima ungleichmäßig ändert

Fand das angebliche Königreich der verschwundenen Hethiter. Was haben Archäologen gefunden?

Quanten-Nanodiamanten können die Genauigkeit medizinischer Tests verbessern