Ny databehandlingsmotor gjør dype nevrale nettverk smartere

"Funksjonsnormalisering er et viktig element i trening av dype nevrale nettverk, og oppmerksomhet til

funksjoner er like viktig å hjelpenettverk for å fremheve hvilke funksjoner som er hentet fra rådata som er viktigst for å fullføre oppgaver,” forklarer Tianfu Wu, assisterende professor i elektro- og datateknikk ved NC State. "Men stort sett ble de behandlet separat. Vi fant ut at det å kombinere dem gjorde dem mer effektive.»

For å teste AN-modulen din,forskere har koblet den til de fire mest brukte nevrale nettverksarkitekturene: ResNets, DenseNets, MobileNetsV2 og AOGNets. Deretter testet de nettverkene mot standard to bransjemetrikker: ImageNet-1000 klassifiseringstest og gjenstandsdeteksjon og forekomst segmentering 2017 MS-COCO test.

“Vi fant ut at AN forbedret ytelsenfor alle fire arkitekturer i begge testene, ”sa Wu. “For eksempel har Top-1-nøyaktigheten i ImageNet-1000 forbedret seg med 0,5-2,7%. Den gjennomsnittlige presisjonsnøyaktigheten (AP) økte til 1,8% for avgrensningsboksen og 2,2% for den semantiske masken i MS-COCO. En annen fordel med AN er at det muliggjør bedre overføring av læring mellom forskjellige domener. For eksempel fra bildeklassifisering i ImageNet til gjenkjenning av objekter og semantisk segmentering i MS-COCO. Dette illustreres av ytelsesforbedringen i MS-COCO-referanseindeksen, som ble oppnådd ved å finjustere de dype nevrale nettverkene som tidligere ble trent av ImageNet på MS-COCO. "

"Vi har gitt ut kildekoden og håper at AN vil føre til bedre integrering av dype nevrale nettverk," konkluderer forskerne.

Les også

Dommedagsbreen viste seg å være farligere enn forskere trodde. Vi forteller det viktigste

To bevis for liv utenomjordisk dukket opp samtidig. Den ene på Venus, den andre - ingen vet hvor

Det viste seg at månene til Uranus er mer som planeter