Η AI έμαθε να μεταφράζει την ομιλία σε βίντεο με νοηματική γλώσσα

Ένα μοντέλο που βασίζεται στην τεχνητή νοημοσύνη (AI) έμαθε να δημιουργεί φωτορεαλιστικά βίντεο

διερμηνείς νοηματικής γλώσσας. Αυτά τα avatar μεταφράζουν την ομιλία σε γλώσσα σε πραγματικό χρόνο και μπορούν να βελτιώσουν την πρόσβαση των χρηστών σε δεκάδες πηγές.

Ben Sanders του Πανεπιστημίου του Surrey(Ηνωμένο Βασίλειο) και συνεργάτες χρησιμοποίησαν ένα νευρωνικό δίκτυο που μετατρέπει την ομιλούμενη γλώσσα σε νοηματική γλώσσα. Το σύστημα SignGAN συσχετίζει αυτά τα σημάδια με ένα τρισδιάστατο μοντέλο του ανθρώπινου σκελετού. Η ομάδα εκπαίδεψε AI σε βίντεο πραγματικών μεταφραστών νοηματικής γλώσσας, το δίδαξε να δημιουργεί φωτορεαλιστικά βίντεο με βάση εικόνες.

Έξυπνες συσκευές ΙΚΕΑ σε συνδυασμό με σενάρια

Νωρίτερα, η Google είχε ένα μοντέλο που μπορείδιαβάστε τη νοηματική γλώσσα κατά τη διάρκεια βιντεοκλήσεων. Το AI μπορεί να αναγνωρίσει "ενεργά μιλώντας", αλλά αγνοεί τον συνομιλητή εάν κινεί απλά τα χέρια ή το κεφάλι του.

Οι ερευνητές παρουσίασαν ένα σύστημα ανίχνευσηςνοηματική γλώσσα σε πραγματικό χρόνο. Μπορεί να διακρίνει πότε ο συνομιλητής προσπαθεί να πει κάτι ή απλά κινεί το σώμα, το κεφάλι, τα χέρια του. Οι επιστήμονες σημειώνουν ότι αυτή η εργασία μπορεί να φαίνεται εύκολη για ένα άτομο, αλλά στο παρελθόν δεν υπήρχε τέτοιο σύστημα σε καμία από τις υπηρεσίες βιντεοκλήσεων - όλοι ανταποκρίνονται σε οποιοδήποτε ήχο ή χειρονομία ενός ατόμου.

Διαβάστε επίσης

Οι δορυφορικές εικόνες επιβεβαίωσαν ότι το κλίμα της Γης αλλάζει άνισα

Βρήκε το φερόμενο βασίλειο των εξαφανισμένων Χετιτών. Τι έχουν βρει οι αρχαιολόγοι;

Τα κβαντικά νανοδιαμάντια μπορούν να βελτιώσουν την ακρίβεια των ιατρικών εξετάσεων