Οι μαθηματικοί μείωσαν το μέγεθος του νευρικού δικτύου κατά 6 φορές χωρίς να το επανεκπαιδεύσουν

Οι δομές των τεχνητών νευρωνικών δικτύων και νευρώνων σε έναν ζωντανό οργανισμό βασίζονται στις ίδιες αρχές.Κόμβοι σε

Τα δίκτυα είναι διασυνδεδεμένα, αλλά μερικά από αυτά λαμβάνουν το σήμα και μερικά από αυτά μεταδίδουνΓια την επεξεργασία οποιουδήποτε σήματος, όπως μια εικόνα ή ένας ήχος, απαιτεί ένα πλήθος στοιχείων δικτύου και προέρχεται από τοΩστόσο, τα μοντέλα υπολογιστών έχουν περιορισμένη χωρητικότητα και μνήμη.Για να εργαστούν με μεγάλες ποσότητες δεδομένων, οι επαγγελματίες πρέπει να εφεύρουν διάφορους τρόπους για να μειώσουν τις απαιτήσεις χωρητικότητας, συμπεριλαμβανομένης της λεγόμενης κβαντοποίησης.Αυτό βοηθά στη μείωση της κατανάλωσης πόρων, αλλά απαιτεί την επανεκπαίδευση του συστήματος.

"Πριν από μερικά χρόνια, πραγματοποιήσαμε αποτελεσματική και οικονομικά αποδοτική κβαντοποίηση κλιμάκων στο δίκτυο Hopfield.Είναι ένα δίκτυο με συνειρμική μνήμη με συμμετρικές συνδέσεις μεταξύ στοιχείων που σχηματίζονται σύμφωνα με τον κανόνα του Hebb.Κατά τη διάρκεια της λειτουργίας του, η δραστηριότητα του δικτύου μειώνεται σε μια ορισμένη κατάσταση ισορροπίας και όταν επιτευχθεί, το πρόβλημα θεωρείται λυμένο.Τα ευρήματα αυτής της μελέτης εφαρμόστηκαν αργότερα σε δίκτυα άμεσης μάθησης βαθιάς μάθησης, τα οποία είναι πολύ δημοφιλή στην αναγνώριση εικόνας σήμερα.Συνήθως, αυτά τα δίκτυα απαιτούν επανεκπαίδευση μετά την κβαντοποίηση, αλλά έχουμε βρει έναν τρόπο να το αποφύγουμε αυτό».

Yakov Karandashev, Υποψήφιος Επιστημών, Αναπληρωτής Καθηγητής στο Πανεπιστήμιο RUDN.

Η βασική ιδέα για την απλοποίηση του τεχνητού νευρικούδίκτυα - αυτή είναι η λεγόμενη ποσοτικοποίηση των βαρών, δηλαδή μείωση του αριθμού των bit για κάθε βάρος. Ο ποσοτικός προσδιορισμός περιλαμβάνει τον μέσο όρο του σήματος: για παράδειγμα, εάν εφαρμοστεί σε μια εικόνα, όλα τα pixel που αντιπροσωπεύουν διαφορετικές αποχρώσεις του ίδιου χρώματος θα γίνουν πανομοιότυπα. Μαθηματικά, αυτό σημαίνει ότι οι νευρικές συνδέσεις που είναι παρόμοιες σε ορισμένες παραμέτρους θα πρέπει να έχουν το ίδιο βάρος (ή σημασία), εκφραζόμενο ως αριθμός.

Μια ομάδα μαθηματικών από το Πανεπιστήμιο RUDN πραγματοποίησε υπολογισμούς καιδημιούργησαν τύπους που δημιουργούν αποτελεσματικά συσχετισμούς μεταξύ βαρών σε ένα νευρικό δίκτυο πριν και μετά την κβαντοποίηση. Με βάση αυτά, οι επιστήμονες ανέπτυξαν αλγόριθμους με τους οποίους ένα εκπαιδευμένο νευρωνικό δίκτυο θα μπορούσε να ταξινομήσει τις εικόνες. Στο πείραμά τους, οι μαθηματικοί χρησιμοποίησαν ένα πακέτο κειμένου 50.000 φωτογραφιών που θα μπορούσαν να χωριστούν σε 1.000 ομάδες. Μετά την εκπαίδευση, το δίκτυο κβαντοποιήθηκε χρησιμοποιώντας τη νέα μέθοδο και δεν επανεκπαιδεύτηκε. Τα αποτελέσματα στη συνέχεια συγκρίθηκαν με άλλους αλγόριθμους ποσοτικοποίησης.

Μετά την ποσοτικοποίηση, η ακρίβεια ταξινόμησηςμειώθηκε μόνο κατά 1%, αλλά η απαιτούμενη χωρητικότητα αποθήκευσης μειώθηκε κατά έξι φορές. Τα πειράματα δείχνουν ότι αυτό το δίκτυο δεν απαιτεί επανεκπαίδευση λόγω της ισχυρής συσχέτισης μεταξύ του αρχικού και των κβαντοποιημένων βαρών. Αυτή η προσέγγιση μπορεί να βοηθήσει στην εξοικονόμηση πόρων κατά την εκτέλεση επειγουσών εργασιών ή την εργασία σε κινητές συσκευές.

Διαβάστε περισσότερα:

Ένας πυρηνικός κινητήρας πυραύλων κατασκευάζεται για πτήσεις προς τον Άρη. Πώς είναι επικίνδυνο;

Κοιτάξτε την εικόνα των 8 τρισ. Pixel του Άρη.

Η σκόνη της Σελήνης είναι θανατηφόρα για τους ανθρώπους. Ο δορυφόρος της Γης δεν είναι κατάλληλος για αποικισμό;

Άμβλωση και επιστήμη: τι θα συμβεί στα παιδιά που θα γεννήσουν.