Matematikere reduserte størrelsen på nevrale nettverk med 6 ganger uten å omskole det

Strukturene til kunstige nevrale nettverk og nevroner i en levende organisme er basert på de samme prinsippene. Noder inn

nettverk er sammenkoblet, men noen av demmotta signalet, og noen sender det, aktivere eller undertrykke det neste elementet i kjeden. Å behandle et hvilket som helst signal, for eksempel et bilde eller lyd, krever mange nettverkselementer og tilkoblinger som kommer fra dem. Datamodeller har imidlertid begrenset kapasitet og minne. For å jobbe med store datamengder må eksperter finne på ulike måter å redusere kapasitetskrav på, inkludert såkalt kvantisering. Dette bidrar til å redusere ressursforbruket, men krever omskolering av systemet.

«For flere år siden gjennomførte vi en effektivog økonomisk kvantisering av vekter i Hopfield-nettverket. Dette er et assosiativt minnenettverk med symmetriske forbindelser mellom elementer som er dannet i henhold til Hebbs regel. Under driften reduseres aktiviteten til nettverket til en viss likevektstilstand, og når det er oppnådd, anses problemet som løst. Funnene fra denne studien ble senere brukt på deep learning feedforward-nettverk, som er svært populære innen bildegjenkjenning i dag. Vanligvis krever disse nettverkene omskolering etter kvantisering, men vi fant en måte å unngå dette på."

Yakov Karandashev, vitenskapskandidat, førsteamanuensis ved RUDN-universitetet.

Grunnideen bak forenkling av kunstig nevralnettverk - dette er den såkalte kvantiseringen av vekter, det vil si å redusere antall biter for hver vekt. Kvantisering innebærer gjennomsnitt av signalet: Hvis det for eksempel brukes på et bilde, vil alle piksler som representerer forskjellige nyanser av samme farge bli identiske. Matematisk betyr dette at nevrale forbindelser som er like i visse parametere, skal ha samme vekt (eller betydning), uttrykt som et tall.

Et team av matematikere fra RUDN University utførte beregninger oglaget formler som effektivt etablerer sammenhenger mellom vekter i et nevralt nettverk før og etter kvantisering. Basert på dem utviklet forskere algoritmer som et trent nevralt nettverk kunne klassifisere bilder med. I eksperimentet brukte matematikerne en tekstpakke med 50000 fotografier som kunne deles inn i 1000 grupper. Etter trening ble nettverket kvantisert ved hjelp av den nye metoden og ble ikke omskolert. Resultatene ble deretter sammenlignet med andre kvantiseringsalgoritmer.

Etter kvantisering, klassifiseringsnøyaktighetenredusert med bare 1%, men den nødvendige lagringskapasiteten ble redusert med seks ganger. Eksperimenter viser at dette nettverket ikke krever omskoling på grunn av den sterke sammenhengen mellom den opprinnelige og kvantiserte vekten. Denne tilnærmingen kan bidra til å spare ressurser når du utfører presserende oppgaver eller jobber på mobile enheter.

Les mer:

Det bygges en kjernefysisk rakettmotor for flyreiser til Mars. Hvordan er det farlig?

Se på 8 billioner piksler av Mars.

Månestøv er dødelig for mennesker. Satellitt av jorden er ikke egnet for kolonisering?

Abort og vitenskap: hva vil skje med barna som skal føde.