AI nauczyła się tłumaczyć mowę na wideo za pomocą języka migowego

Model oparty na sztucznej inteligencji (AI) uczy się tworzyć fotorealistyczne filmy

Te awatary tłumaczą mowę na język w czasie rzeczywistym i mogąPopraw dostęp użytkowników do dziesiątek źródeł.

Ben Sanders z University of Surrey(UK) i współpracownicy wykorzystali sieć neuronową, która przekształca język mówiony w język migowy. System SignGAN koreluje te znaki z modelem 3D ludzkiego szkieletu. Zespół przeszkolił sztuczną inteligencję w zakresie wideo prawdziwych tłumaczy języka migowego, nauczył ją tworzyć fotorealistyczne wideo na podstawie obrazów.

Inteligentne urządzenia IKEA łączą scenariusze

Wcześniej Google wymyślił model, który to potraficzytać język migowy podczas rozmów wideo. AI może zidentyfikować „aktywnie mówiący”, ale ignoruje rozmówcę, jeśli tylko porusza rękami lub głową.

Badacze zaprezentowali system wykrywaniajęzyk migowy w czasie rzeczywistym. Potrafi rozróżnić, kiedy rozmówca próbuje coś powiedzieć, czy po prostu porusza ciałem, głową, rękami. Naukowcy zauważają, że to zadanie może wydawać się łatwe dla osoby, ale wcześniej nie było takiego systemu w żadnej z usług połączeń wideo - wszystkie reagują na każdy dźwięk lub gest osoby.

Czytaj także

Zdjęcia satelitarne potwierdziły, że klimat Ziemi zmienia się nierównomiernie

Znaleziono rzekome królestwo zaginionych Hetytów. Co odkryli archeolodzy?

Nanodiamenty kwantowe mogą poprawić dokładność testów medycznych