Οι νευροεπιστήμονες εξακολουθούν να μην κατανοούν πλήρως την όλη διαδικασία του τρόπου με τον οποίο ο εγκέφαλος μετατρέπει τις οπτικές πληροφορίες σε
Αρχικές εικόνες (επάνω) και εικόνες αναγνώρισης εγκεφαλικής δραστηριότητας σταθερής διάχυσης. Εικόνα: Yu Takagi, Shinji Nishimoto, bioRxiv
Αυτή δεν είναι η πρώτη μελέτη στην οποία επιστήμονεςχρησιμοποίησε AI για να διαβάσει σαρώσεις εγκεφάλου και να αναδημιουργήσει τις εικόνες. Αλλά στη νέα εργασία, πρόσθεσαν ένα επιπλέον βήμα: κατά την εκπαίδευση AI, χρησιμοποιούνται περιγραφές κειμένου φωτογραφιών. Ως αποτέλεσμα, ο αλγόριθμος αναλύει όχι μόνο την εγκεφαλική δραστηριότητα που σχετίζεται με την προβολή εικόνων, αλλά και την περιγραφή του κειμένου. Αυτό θυμίζει δημοφιλείς αλγόριθμους όπως το DALL-E 2 και το Midjourney.
Για σταθερή διάχυση αναγνώρισης προτύπωνχρησιμοποιεί δεδομένα σάρωσης εγκεφάλου λειτουργικής μαγνητικής τομογραφίας (fMRI) που συλλέγονται με την προβολή διαφόρων εικόνων. Όταν οι άνθρωποι κοιτάζουν μια φωτογραφία, οι κροταφικοί λοβοί αναλύουν πληροφορίες σχετικά με το περιεχόμενο της εικόνας (άνθρωποι, αντικείμενα ή σκηνικά), ενώ οι ινιακός λοβοί αναλύουν τη θέση και την προοπτική, όπως την κλίμακα και τη θέση του περιεχομένου.
Για να εκπαιδεύσουν το AI, οι ερευνητές χρησιμοποίησαν ένα σετεικόνες και μοτίβα εγκεφαλικής δραστηριότητας που συλλέγονται κατά την προβολή τους. Με απλή εκπαίδευση, ο αλγόριθμος αναδημιουργούσε αποτελεσματικά τη θέση των αντικειμένων και την προοπτική των φωτογραφιών που προβάλλονταν, αλλά αντί για πραγματικά αντικείμενα στο κέντρο της σύνθεσης, σχεδίασε αφηρημένα σχήματα. Όμως, αφού οι επιστήμονες πρόσθεσαν περιγραφές κειμένου στις φωτογραφίες που χρησιμοποιήθηκαν στην εκπαίδευση, η ποιότητα των εικόνων που δημιουργήθηκαν αυξήθηκε σημαντικά.
Αρχική εικόνα (αριστερά) και εικόνες,που ελήφθησαν χρησιμοποιώντας αλγόριθμους εκπαιδευμένους σε οπτικά (z), κείμενο (γ) και συνδυασμένα δεδομένα (δεξιά). Εικόνα: Yu Takagi, Shinji Nishimoto, bioRxiv
Οι ερευνητές σημειώνουν ότι ο συνδυασμός του κειμένουκαι τα οπτικά δεδομένα κατά τη διάρκεια της εκπαίδευσης σάς επιτρέπουν να μειώσετε σημαντικά τον όγκο των δεδομένων που πρέπει να χρησιμοποιηθούν για την εκπαίδευση του μοντέλου. Ταυτόχρονα, σημειώνουν ότι μέχρι στιγμής το AI έχει εκπαιδευτεί και δοκιμαστεί σε δεδομένα fMRI μόνο για τέσσερα άτομα. Πιθανώς, θα χρειαστεί ένα δείγμα από μεγάλο αριθμό ατόμων για τη δημιουργία ενός καθολικού αλγόριθμου.
Διαβάστε περισσότερα:
Ονομάστηκε μια βιταμίνη που προστατεύει τον εγκέφαλο από την άνοια
Ονομάστηκε ένας τύπος αϋπνίας που μειώνει τον κίνδυνο άνοιας. Το γιατί όμως είναι άγνωστο.
Αποδείχθηκε ποιοι άνδρες είναι οι πιο γόνιμοι: το σπέρμα τους είναι 50% καλύτερο από τους υπόλοιπους