Ny databehandlingsmotor gör djupa neurala nätverk smartare

"Funktionsnormalisering är en viktig del av träningen av djupa neurala nätverk och uppmärksamhet på

funktioner är lika viktigt att hjälpanätverk för att lyfta fram vilka funktioner som extraherats från rådata som är viktigast för att slutföra uppgifter”, förklarar Tianfu Wu, biträdande professor i el- och datorteknik vid NC State. "Men oftast behandlades de separat. Vi upptäckte att kombinationen av dem gjorde dem mer effektiva och effektiva."

För att testa din AN-modul,forskare har kopplat den till de fyra mest använda neurala nätverksarkitekturerna: ResNets, DenseNets, MobileNetsV2 och AOGNets. De testade sedan nätverken mot standard två branschmått: ImageNet-1000 klassificeringstest och objektdetektering och instanssegmentering MS-COCO-test 2017.

”Vi fann att AN förbättrade prestandaför alla fyra arkitekturerna i båda testerna, säger Wu. ”Till exempel förbättrades Top-1-noggrannheten i ImageNet-1000 med 0,5-2,7%. Genomsnittsprecisionen (AP) ökade till 1,8% för avgränsningsrutan och 2,2% för den semantiska masken i MS-COCO. En annan fördel med AN är att det underlättar bättre överföring av lärande mellan olika domäner. Till exempel från bildklassificering i ImageNet till objektdetektering och semantisk segmentering i MS-COCO. Detta illustreras av prestandaförbättringen i MS-COCO-riktmärket, som erhölls genom att finjustera de djupa neurala nätverk som tidigare utbildats av ImageNet på MS-COCO. "

"Vi har släppt källkoden och hoppas att vår AN kommer att leda till bättre integrativ design för djupa neurala nätverk", avslutar forskarna.

Läs också

Doomsday-glaciären visade sig vara farligare än forskare trodde. Vi berättar det viktigaste

Två bevis på utomjordiskt liv uppstod på en gång. En på Venus, den andra - ingen vet var

Det visade sig att Uranus månar liknar planeter