Η AI έμαθε να επαναφέρει ένα τραγούδι από ένα μουσικό βίντεο

Επιστήμονες από το MIT παρουσίασαν το σύστημα τεχνητής νοημοσύνης (AI) της Foley Music, το οποίο παράγει μουσική με βάση

βίντεο χωρίς ήχο μουσικών που παίζουν όργανα. Λένε ότι το μοντέλο λειτουργεί με μια ποικιλία μουσικών οργάνων και είναι ανώτερο από αρκετά υπάρχοντα συστήματα όσον αφορά την ταχύτητα και την ποιότητα εργασίας.

Οι ερευνητές πιστεύουν ότι ένα μοντέλο AI αυτόδημιουργεί μουσική βασισμένη σε ανθρώπινες κινήσεις, μπορεί να γίνει η βάση για πολλές εφαρμογές - από την αυτόματη προσθήκη ηχητικών εφέ σε βίντεο έως τη δημιουργία συναρπαστικών εμπειριών στην εικονική πραγματικότητα. Οι ερευνητές σημειώνουν ότι οι άνθρωποι έχουν επίσης αυτήν την ικανότητα - για παράδειγμα, όταν καταλαβαίνουν την ομιλία ενός ατόμου από τα χείλη.

Η μουσική Foley εφιστά την προσοχή σε βασικά σημείατο σώμα (25 βαθμοί) και τα δάχτυλα (20 σημεία) ως ενδιάμεσα σημεία οπτικής αγκύρωσης, τα οποία χρησιμοποιεί για να διαμορφώσει τις κινήσεις του σώματος και των χεριών. Στη συνέχεια, το σύστημα μεταφράζει αυτές τις κινήσεις σε μουσικές νότες, λαμβάνοντας υπόψη την ένταση. Έτσι μπορεί να παίξει ακορντεόν, μπάσο, μπάσο, τσέλο, κιθάρα, πιάνο, γιουκαλίλι και άλλα όργανα.

Κατά τη διάρκεια των πειραμάτων, οι ερευνητές εκπαίδευσαν τον FoleyΜουσική σε τρία σύνολα δεδομένων που περιέχουν χίλια κλιπ βίντεο μουσικής σε 11 κατηγορίες. Έτσι κατάφεραν να συγκεντρώσουν ένα πλήθος βίντεο με διαφορετική πολυπλοκότητα - οδηγίες από τον ιστότοπο AtinPiano, ερασιτεχνικά βίντεο από κανάλια YouTube, αποσπάσματα από συναυλίες και άλλα δεδομένα.

Οι ερευνητές ανέβασαν το Foley Music 450βίντεο. Στη συνέχεια έδωσαν τη μουσική που προέκυψε στους επιστήμονες, οι οποίοι αξιολόγησαν το αποτέλεσμα. Σε ορισμένες περιπτώσεις, σημείωσαν ότι "η μουσική είναι σαν ένα εξώφυλλο από μια ποιοτική μπάντα".

Οι ειδικοί διαπίστωσαν ότι η μουσική της Foley Music είναι δύσκολο να διακριθεί από τις πραγματικές ηχογραφήσεις. Επιπλέον, το AI μπορεί να βελτιώσει την ποιότητα ήχου, τη σημασιολογική ευθυγράμμιση και το συγχρονισμό.

Δείτε επίσης:

— Κοιτάξτε τον τρισδιάστατο χάρτη του Σύμπαντος: χρειάστηκαν 20 χρόνια για να τον συντάξουν και έχει ήδη εκπλήξει τους επιστήμονες

— Ο κομήτης NEOWISE είναι ορατός στη Ρωσία. Πού να το δείτε, πού να κοιτάξετε και πώς να τραβήξετε μια φωτογραφία

— Τρεις αστεροειδείς πετούν προς τη Γη και ένας από αυτούς είναι δυνητικά επικίνδυνος. Υπάρχει απειλή;