Matematičari su smanjili veličinu neuronske mreže za 6 puta, a da je nisu prekvalificirali

Strukture umjetnih neuronskih mreža i neurona u živom organizmu temelje se na istim principima. Čvorovi u

mreže su međusobno povezane, ali neke od njihprimaju signal, a neki ga prenose, aktivirajući ili potiskujući sljedeći element u lancu. Obrada bilo kojeg signala, poput slike ili zvuka, zahtijeva mnoge mrežne elemente i veze koje iz njih dolaze. Međutim, modeli računala imaju ograničeni kapacitet i memoriju. Kako bi radili s velikim količinama podataka, stručnjaci moraju osmisliti različite načine za smanjenje zahtjeva za kapacitetom, uključujući takozvanu kvantizaciju. To pomaže smanjiti potrošnju resursa, ali zahtijeva ponovno osposobljavanje sustava.

“Prije nekoliko godina proveli smo efektivnui ekonomična kvantizacija težina u Hopfieldovoj mreži. To je asocijativna memorijska mreža sa simetričnim vezama među elementima koji se formiraju u skladu s Hebbovim pravilom. Tijekom rada, aktivnost mreže se svodi na određeno stanje ravnoteže, a kada se ono postigne, problem se smatra riješenim. Nalazi iz ove studije kasnije su primijenjeni na mreže za duboko učenje, koje su danas vrlo popularne u prepoznavanju slika. Tipično, te mreže zahtijevaju ponovnu obuku nakon kvantizacije, ali pronašli smo način da to izbjegnemo."

Yakov Karandashev, kandidat znanosti, izvanredni profesor na Sveučilištu RUDN.

Osnovna ideja pojednostavljivanja umjetnog neuronamreže - to je takozvana kvantizacija pondera, odnosno smanjenje broja bitova za svaku težinu. Kvantizacija uključuje usrednjavanje signala: na primjer, ako se primijeni na sliku, svi pikseli koji predstavljaju različite nijanse iste boje postat će identični. Matematički to znači da bi neuronske veze koje su slične u određenim parametrima trebale imati jednaku težinu (ili važnost), izraženu brojem.

Tim matematičara sa Sveučilišta RUDN izvršio je proračune istvorio formule koje učinkovito uspostavljaju korelacije između težina u neuronskoj mreži prije i nakon kvantizacije. Na temelju njih znanstvenici su razvili algoritme pomoću kojih bi obučena neuronska mreža mogla klasificirati slike. U svom su eksperimentu matematičari koristili paket teksta od 50 000 fotografija koji se mogu podijeliti u 1000 skupina. Nakon treninga, mreža je kvantizirana novom metodom i nije prekvalificirana. Rezultati su zatim uspoređivani s drugim algoritmima kvantizacije.

Nakon kvantizacije, točnost klasifikacijesmanjio za samo 1%, ali je potreban volumen pohrane smanjen šest puta. Eksperimenti pokazuju da ova mreža ne zahtijeva prekvalifikaciju zbog jake korelacije između izvorne i kvantizirane težine. Ovaj pristup može pomoći u uštedi resursa prilikom izvršavanja hitnih zadataka ili rada na mobilnim uređajima.

Čitaj više:

Za letove do Marsa gradi se nuklearni raketni motor. Kako je opasno?

Pogledajte sliku Marsa od 8 bilijuna piksela.

Mjesečeva prašina za ljude je smrtonosna. Satelit Zemlje nije pogodan za kolonizaciju?

Pobačaj i znanost: što će se dogoditi s djecom koja će roditi.