Los matemáticos redujeron 6 veces el tamaño de la red neuronal sin volver a entrenarla

Las estructuras de las redes neuronales artificiales y las neuronas de un organismo vivo se basan en los mismos principios. Nodos en

Las redes están interconectadas, pero algunas de ellasreciben la señal y algunos la transmiten, activando o suprimiendo el siguiente elemento de la cadena. El procesamiento de cualquier señal, como una imagen o un sonido, requiere de muchos elementos de red y conexiones provenientes de ellos. Sin embargo, los modelos de computadora tienen capacidad y memoria limitadas. Para trabajar con grandes volúmenes de datos, los expertos tienen que encontrar varias formas de reducir los requisitos de capacidad, incluida la llamada cuantificación. Esto ayuda a reducir el consumo de recursos, pero requiere volver a capacitar el sistema.

“Hace varios años llevamos a cabo un estudio eficazy cuantificación económica de pesos en la red Hopfield. Se trata de una red de memoria asociativa con conexiones simétricas entre elementos que se forman de acuerdo con la regla de Hebb. Durante su funcionamiento, la actividad de la red se reduce hasta un cierto estado de equilibrio, y cuando se alcanza, el problema se considera resuelto. Los hallazgos de este estudio se aplicaron posteriormente a las redes de retroalimentación de aprendizaje profundo, que son muy populares en el reconocimiento de imágenes en la actualidad. Normalmente, estas redes requieren un reentrenamiento después de la cuantificación, pero encontramos una manera de evitarlo".

Yakov Karandashev, candidato de Ciencias, profesor asociado de la Universidad RUDN.

La idea básica detrás de la simplificación neuronal artificialredes - esta es la llamada cuantificación de pesos, es decir, reducir el número de bits para cada peso. La cuantificación implica promediar la señal: por ejemplo, si se aplica a una imagen, todos los píxeles que representan diferentes tonos del mismo color serán idénticos. Matemáticamente, esto significa que las conexiones neuronales que son similares en ciertos parámetros deben tener el mismo peso (o importancia), expresado como un número.

Un equipo de matemáticos de la Universidad RUDN realizó cálculos ycrearon fórmulas que establecen de manera eficiente correlaciones entre pesos en una red neuronal antes y después de la cuantificación. Sobre esta base, los científicos desarrollaron algoritmos con los que una red neuronal entrenada podría clasificar imágenes. En su experimento, los matemáticos utilizaron un paquete de texto de 50.000 fotografías que se podrían dividir en 1.000 grupos. Después del entrenamiento, la red se cuantificó utilizando el nuevo método y no se volvió a capacitar. A continuación, los resultados se compararon con otros algoritmos de cuantificación.

Después de la cuantificación, la precisión de la clasificacióndisminuyó solo un 1%, pero el volumen de almacenamiento requerido se redujo seis veces. Los experimentos muestran que esta red no requiere reentrenamiento debido a la fuerte correlación entre los pesos originales y cuantificados. Este enfoque puede ayudar a ahorrar recursos al realizar tareas urgentes o al trabajar con dispositivos móviles.

Lee mas:

Se está construyendo un motor de cohete nuclear para vuelos a Marte. ¿Cómo es peligroso?

Mire la imagen de 8 billones de píxeles de Marte.

El polvo lunar es mortal para los humanos. ¿El satélite de la Tierra no es apto para la colonización?

Aborto y ciencia: qué pasará con los niños que darán a luz.