Wiskundigen hebben de omvang van het neurale netwerk 6 keer verkleind zonder het opnieuw te trainen

De structuren van kunstmatige neurale netwerken en neuronen in een levend organisme zijn gebaseerd op dezelfde principes. Knooppunten binnen

netwerken zijn met elkaar verbonden, maar sommige daarvan zijn onderling verbondenontvangen het signaal, en sommigen zenden het uit, waardoor het volgende element in de keten wordt geactiveerd of onderdrukt. Voor het verwerken van welk signaal dan ook, zoals een beeld of geluid, zijn veel netwerkelementen en verbindingen nodig die daaruit voortkomen. Computermodellen hebben echter een beperkte capaciteit en geheugen. Om met grote hoeveelheden data te kunnen werken, moeten experts verschillende manieren bedenken om de capaciteitsvereisten te verminderen, waaronder zogenaamde kwantisering. Dit helpt het verbruik van hulpbronnen te verminderen, maar vereist een herscholing van het systeem.

“Enkele jaren geleden hebben we een effectief uitgevoerden economische kwantisering van gewichten in het Hopfield-netwerk. Dit is een associatief geheugennetwerk met symmetrische verbindingen tussen elementen die zijn gevormd volgens de regel van Hebb. Tijdens de werking ervan wordt de activiteit van het netwerk teruggebracht tot een bepaalde evenwichtstoestand, en wanneer dit bereikt is, wordt het probleem als opgelost beschouwd. De bevindingen uit dit onderzoek werden later toegepast op deep learning feedforward-netwerken, die tegenwoordig erg populair zijn bij beeldherkenning. Meestal moeten deze netwerken na kwantisering opnieuw worden getraind, maar we hebben een manier gevonden om dit te voorkomen."

Yakov Karandashev, kandidaat voor wetenschappen, universitair hoofddocent aan de RUDN Universiteit.

Het basisidee achter het vereenvoudigen van kunstmatige neuralenetwerken - dit is de zogenaamde kwantisering van gewichten, dat wil zeggen, het verminderen van het aantal bits voor elk gewicht. Kwantisering omvat het middelen van het signaal: als het bijvoorbeeld op een afbeelding wordt toegepast, worden alle pixels die verschillende tinten van dezelfde kleur vertegenwoordigen identiek. Wiskundig betekent dit dat neurale verbindingen die vergelijkbaar zijn in bepaalde parameters, hetzelfde gewicht (of belangrijkheid) moeten hebben, uitgedrukt als een getal.

Een team van wiskundigen van RUDN University voerde berekeningen uit enformules gemaakt die effectief correlaties vaststellen tussen gewichten in een neuraal netwerk voor en na kwantisering. Op basis daarvan ontwikkelden wetenschappers algoritmen waarmee een getraind neuraal netwerk afbeeldingen kon classificeren. In hun experiment gebruikten de wiskundigen een tekstpakket van 50.000 foto's die in 1000 groepen konden worden verdeeld. Na training is het netwerk gekwantiseerd met de nieuwe methode en niet bijgeschoold. De resultaten werden vervolgens vergeleken met andere kwantiseringsalgoritmen.

Na kwantisering, de classificatienauwkeurigheidafgenomen met slechts 1%, maar het benodigde opslagvolume werd zes keer verminderd. Experimenten tonen aan dat dit netwerk geen herscholing vereist vanwege de sterke correlatie tussen de oorspronkelijke en gekwantiseerde gewichten. Deze aanpak kan helpen om middelen te besparen bij het uitvoeren van urgente taken of het werken op mobiele apparaten.

Lees verder:

Er wordt een nucleaire raketmotor gebouwd voor vluchten naar Mars. Hoe is het gevaarlijk?

Kijk naar de afbeelding van 8 biljoen pixels van Mars.

Maanstof is dodelijk voor mensen. Satelliet van de aarde is niet geschikt voor kolonisatie?

Abortus en wetenschap: wat gebeurt er met de kinderen die zullen bevallen.