Matematiker minskade neuralnätets storlek med 6 gånger utan att omskola det

Strukturerna hos artificiella neurala nätverk och neuroner i en levande organism bygger på samma principer. Noder in

nätverk är sammankopplade, men vissa av demta emot signalen, och vissa sänder den, aktivera eller undertrycka nästa element i kedjan. Att bearbeta vilken signal som helst, till exempel en bild eller ljud, kräver många nätverkselement och anslutningar som kommer från dem. Dock har datormodeller begränsad kapacitet och minne. För att arbeta med stora datamängder måste experter komma på olika sätt att minska kapacitetskraven, inklusive så kallad kvantisering. Detta bidrar till att minska resursförbrukningen, men kräver omskoling av systemet.

”För flera år sedan genomförde vi en effektivoch ekonomisk kvantisering av vikter i Hopfield-nätverket. Detta är ett associativt minnesnätverk med symmetriska kopplingar mellan element som är bildade i enlighet med Hebbs regel. Under dess drift reduceras nätverkets aktivitet till ett visst jämviktstillstånd, och när det uppnås anses problemet löst. Resultaten från denna studie tillämpades senare på feedforward-nätverk för djupinlärning, som är mycket populära inom bildigenkänning idag. Vanligtvis kräver dessa nätverk omskolning efter kvantisering, men vi hittade ett sätt att undvika detta."

Yakov Karandashev, vetenskapskandidat, docent vid RUDN University.

Grundidén bakom förenkling av artificiell neuralnätverk - detta är den så kallade kvantiseringen av vikter, det vill säga att minska antalet bitar för varje vikt. Kvantisering innebär medelvärdesberäkning av signalen: om den till exempel används på en bild blir alla pixlar som representerar olika nyanser av samma färg identiska. Matematiskt betyder detta att neurala kopplingar som liknar vissa parametrar ska ha samma vikt (eller vikt), uttryckt som ett tal.

Ett team av matematiker från RUDN University genomförde beräkningar ochskapade formler som effektivt etablerar korrelationer mellan vikter i ett neuralt nätverk före och efter kvantisering. På grundval av dem utvecklade forskare algoritmer med vilka ett utbildat neuralt nätverk kunde klassificera bilder. I sitt experiment använde matematikerna ett textpaket med 50 000 fotografier som kunde delas in i 1 000 grupper. Efter träning kvantifierades nätverket med den nya metoden och omskolades inte. Resultaten jämfördes sedan med andra kvantiseringsalgoritmer.

Efter kvantisering, klassificeringsnoggrannhetminskade endast med 1%, men den lagringsvolym som krävs minskade med sex gånger. Experiment visar att detta nätverk inte kräver omskolning på grund av den starka korrelationen mellan den ursprungliga och kvantiserade vikten. Detta tillvägagångssätt kan hjälpa till att spara resurser när du utför brådskande uppgifter eller arbetar på mobila enheter.

Läs mer:

En kärnkraftsmotor byggs för flygningar till Mars. Hur är det farligt?

Titta på 8 biljoner pixlar av Mars.

Månstoft är dödligt för människor. Satellit på jorden är inte lämplig för kolonisering?

Abort och vetenskap: vad kommer att hända med barnen som kommer att föda.