Les mathématiciens ont réduit la taille du réseau de neurones de 6 fois sans le recycler

Les structures des réseaux de neurones artificiels et des neurones d'un organisme vivant reposent sur les mêmes principes. Nœuds dans

les réseaux sont interconnectés, mais certains d'entre euxreçoivent le signal, et certains le transmettent, activant ou supprimant l’élément suivant de la chaîne. Le traitement de n'importe quel signal, tel qu'une image ou un son, nécessite de nombreux éléments de réseau et connexions qui en découlent. Cependant, les modèles informatiques ont une capacité et une mémoire limitées. Pour travailler avec de gros volumes de données, les experts doivent trouver différentes manières de réduire les besoins en capacité, y compris ce qu'on appelle la quantification. Cela permet de réduire la consommation de ressources, mais nécessite de recycler le système.

« Il y a plusieurs années, nous avons mené une enquête efficaceet quantification économique des poids dans le réseau Hopfield. Il s'agit d'un réseau de mémoire associative avec des connexions symétriques entre les éléments formés conformément à la règle de Hebb. Lors de son fonctionnement, l'activité du réseau est réduite à un certain état d'équilibre, et lorsqu'il est atteint, le problème est considéré comme résolu. Les résultats de cette étude ont ensuite été appliqués aux réseaux de rétroaction d’apprentissage profond, qui sont aujourd’hui très populaires dans le domaine de la reconnaissance d’images. Généralement, ces réseaux nécessitent un recyclage après la quantification, mais nous avons trouvé un moyen d'éviter cela. »

Yakov Karandashev, candidat en sciences, professeur agrégé à l'Université RUDN.

L'idée de base derrière la simplification des neurones artificielsréseaux - c'est ce que l'on appelle la quantification des poids, c'est-à-dire la réduction du nombre de bits pour chaque poids. La quantification consiste à faire la moyenne du signal: par exemple, si elle est appliquée à une image, tous les pixels qui représentent différentes nuances de la même couleur deviendront identiques. Mathématiquement, cela signifie que les connexions neuronales qui sont similaires dans certains paramètres doivent avoir le même poids (ou importance), exprimé sous forme de nombre.

Une équipe de mathématiciens de l'Université RUDN a effectué des calculs etcréé des formules qui établissent efficacement des corrélations entre les poids dans un réseau neuronal avant et après la quantification. Sur cette base, les scientifiques ont développé des algorithmes avec lesquels un réseau neuronal formé pouvait classer les images. Dans leur expérience, les mathématiciens ont utilisé un ensemble de textes de 50 000 photographies pouvant être divisées en 1 000 groupes. Après la formation, le réseau a été quantifié à l'aide de la nouvelle méthode et n'a pas été recyclé. Les résultats ont ensuite été comparés à d'autres algorithmes de quantification.

Après quantification, précision de classificationdiminué de seulement 1%, mais le volume de stockage requis a été réduit de six fois. Les expériences montrent que ce réseau ne nécessite pas de recyclage en raison de la forte corrélation entre les poids d'origine et quantifiés. Cette approche peut aider à économiser des ressources lors de l'exécution de tâches urgentes ou de l'utilisation d'appareils mobiles.

Lire la suite:

Un moteur de fusée nucléaire est en cours de construction pour les vols vers Mars. En quoi est-ce dangereux?

Regardez l'image de 8 trillions de pixels de Mars.

La poussière de lune est mortelle pour les humains. Le satellite de la Terre ne convient pas à la colonisation?

Avortement et science: qu'adviendra-t-il des enfants qui accoucheront?