Matematikere reducerede størrelsen på det neurale netværk med 6 gange uden at omskole det

Strukturerne af kunstige neurale netværk og neuroner i en levende organisme er baseret på de samme principper. Noder ind

netværk er forbundet, men nogle af demmodtager signalet, og nogle sender det, aktiverer eller undertrykker det næste element i kæden. Behandling af ethvert signal, såsom et billede eller lyd, kræver mange netværkselementer og forbindelser, der kommer fra dem. Dog har computermodeller begrænset kapacitet og hukommelse. For at arbejde med store mængder data skal eksperter finde på forskellige måder at reducere kapacitetskravene på, herunder såkaldt kvantisering. Dette er med til at reducere ressourceforbruget, men kræver genoptræning af systemet.

”For flere år siden gennemførte vi en effektivog økonomisk kvantisering af vægte i Hopfield-netværket. Dette er et associativt hukommelsesnetværk med symmetriske forbindelser mellem elementer, der er dannet i overensstemmelse med Hebbs regel. Under driften reduceres netværkets aktivitet til en vis ligevægtstilstand, og når det er opnået, anses problemet for at være løst. Resultaterne fra denne undersøgelse blev senere anvendt på deep learning feedforward-netværk, som er meget populære inden for billedgenkendelse i dag. Typisk kræver disse netværk genoptræning efter kvantisering, men vi fandt en måde at undgå dette på."

Yakov Karandashev, videnskabskandidat, lektor ved RUDN University.

Grundideen bag forenkling af kunstige neuralenetværk - dette er den såkaldte kvantisering af vægte, dvs. reducere antallet af bits for hver vægt. Kvantisering indebærer gennemsnit af signalet: hvis det f.eks. Anvendes på et billede, bliver alle pixels, der repræsenterer forskellige nuancer af samme farve, identiske. Matematisk betyder dette, at neurale forbindelser, der er ens i visse parametre, skal have samme vægt (eller betydning) udtrykt som et tal.

Et team af matematikere fra RUDN University udførte beregninger ogskabte formler, der effektivt etablerer korrelationer mellem vægte i et neuralt netværk før og efter kvantisering. Baseret på dem udviklede forskere algoritmer, hvormed et trænet neuralt netværk kunne klassificere billeder. I deres eksperiment brugte matematikerne en tekstpakke med 50.000 fotografier, der kunne opdeles i 1.000 grupper. Efter træning blev netværket kvantificeret ved hjælp af den nye metode og blev ikke omskoleret. Resultaterne blev derefter sammenlignet med andre kvantiseringsalgoritmer.

Efter kvantisering klassificeringsnøjagtighedenfaldt kun med 1%, men den krævede lagringskapacitet blev reduceret med seks gange. Eksperimenter viser, at dette netværk ikke kræver omskoling på grund af den stærke sammenhæng mellem den originale og kvantiserede vægt. Denne tilgang kan hjælpe med at spare ressourcer, når du udfører presserende opgaver eller arbejder på mobile enheder.

Læs mere:

En atomraketmotor bygges til flyvninger til Mars. Hvordan er det farligt?

Se på 8 billioner pixelbillede af Mars.

Månestøv er dødbringende for mennesker. Satellit på jorden er ikke egnet til kolonisering?

Abort og videnskab: hvad vil der ske med de børn, der føder.