Mathematiker reduzierten die Größe des neuronalen Netzwerks um das Sechsfache, ohne es neu zu trainieren

Die Strukturen künstlicher neuronaler Netze und Neuronen in einem lebenden Organismus basieren auf den gleichen Prinzipien.Knoten in

Die Netze sind miteinander verbunden, aber einige von ihnen empfangen das Signal, andere sendenUm ein beliebiges Signal, wie z. B. ein Bild oder einen Ton, zu verarbeiten, benötigt es eine Vielzahl von Netzwerkelementen, die von derComputermodelle haben jedoch eine begrenzte Kapazität und einen begrenzten Speicher.Um mit großen Datenmengen arbeiten zu können, müssen Profis verschiedene Möglichkeiten erfinden, um den Kapazitätsbedarf zu reduzieren, einschließlich der sogenannten Quantisierung.Dies trägt dazu bei, den Ressourcenverbrauch zu reduzieren, erfordert jedoch ein erneutes Trainieren des Systems.

"Vor einigen Jahren haben wir eine effiziente und kostengünstige Quantisierung von Skalen im Hopfield-Netzwerk durchgeführt.Es ist ein Netzwerk mit assoziativem Gedächtnis mit symmetrischen Verbindungen zwischen Elementen, die nach der Hebbschen Regel gebildet werden.Im Laufe seines Betriebs wird die Aktivität des Netzwerks auf einen bestimmten Gleichgewichtszustand reduziert, und wenn dieser erreicht ist, gilt das Problem als gelöst.Die Ergebnisse dieser Studie wurden später auf Deep-Learning-Direktlernnetzwerke übertragen, die heute in der Bilderkennung sehr beliebt sind.Normalerweise müssen diese Netzwerke nach der Quantisierung neu trainiert werden, aber wir haben einen Weg gefunden, dies zu vermeiden."

Yakov Karandashev, Kandidat der Naturwissenschaften, außerordentlicher Professor an der RUDN-Universität.

Die Grundidee hinter der Vereinfachung künstlicher neuronalerNetzwerke - Dies ist die sogenannte Quantisierung von Gewichten, dh das Reduzieren der Anzahl von Bits für jedes Gewicht. Bei der Quantisierung wird das Signal gemittelt: Wenn beispielsweise ein Bild angewendet wird, werden alle Pixel, die unterschiedliche Schattierungen derselben Farbe darstellen, identisch. Mathematisch bedeutet dies, dass neuronale Verbindungen, die in bestimmten Parametern ähnlich sind, das gleiche Gewicht (oder die gleiche Bedeutung) haben sollten, ausgedrückt als Zahl.

Ein Team von Mathematikern der RUDN-Universität führte Berechnungen durch understellte Formeln, die vor und nach der Quantisierung effizient Korrelationen zwischen Gewichten in einem neuronalen Netzwerk herstellen. Auf ihrer Grundlage entwickelten Wissenschaftler Algorithmen, mit denen ein trainiertes neuronales Netzwerk Bilder klassifizieren kann. In ihrem Experiment verwendeten die Mathematiker ein Textpaket mit 50.000 Fotografien, die in 1.000 Gruppen unterteilt werden konnten. Nach dem Training wurde das Netzwerk mit der neuen Methode quantisiert und nicht umgeschult. Die Ergebnisse wurden dann mit anderen Quantisierungsalgorithmen verglichen.

Nach der Quantisierung die Klassifizierungsgenauigkeitverringerte sich nur um 1%, aber das erforderliche Speichervolumen wurde um das Sechsfache reduziert. Experimente zeigen, dass dieses Netzwerk aufgrund der starken Korrelation zwischen dem ursprünglichen und dem quantisierten Gewicht keine Umschulung erfordert. Dieser Ansatz kann helfen, Ressourcen zu sparen, wenn Sie dringende Aufgaben ausführen oder an mobilen Geräten arbeiten.

Weiterlesen:

Für Flüge zum Mars wird ein Atomraketenmotor gebaut. Wie ist es gefährlich?

Schauen Sie sich das 8 Billionen Pixel große Bild des Mars an.

Mondstaub ist für Menschen tödlich. Satellit der Erde ist nicht zur Kolonisierung geeignet?

Abtreibung und Wissenschaft: Was wird mit den Kindern geschehen, die gebären werden?