Matematicienii au redus dimensiunea rețelei neuronale de 6 ori fără a o recalifica

Structurile rețelelor neuronale artificiale și ale neuronilor dintr-un organism viu se bazează pe aceleași principii. Noduri în

rețelele sunt interconectate, dar unele dintre eleprimesc semnalul, iar unii îl transmit, activând sau suprimând următorul element din lanț. Procesarea oricărui semnal, cum ar fi o imagine sau un sunet, necesită multe elemente de rețea și conexiuni care provin din acestea. Cu toate acestea, modelele de computere au capacitate și memorie limitate. Pentru a lucra cu volume mari de date, experții trebuie să vină cu diferite modalități de reducere a cerințelor de capacitate, inclusiv așa-numita cuantizare. Acest lucru ajută la reducerea consumului de resurse, dar necesită recalificarea sistemului.

„În urmă cu câțiva ani, am efectuat o operațiune eficientăși cuantificarea economică a greutăților în rețeaua Hopfield. Aceasta este o rețea de memorie asociativă cu conexiuni simetrice între elemente care sunt formate în conformitate cu regula lui Hebb. În timpul funcționării acesteia, activitatea rețelei este redusă la o anumită stare de echilibru, iar atunci când este realizată, problema este considerată rezolvată. Descoperirile acestui studiu au fost aplicate ulterior rețelelor de feedforward de învățare profundă, care sunt foarte populare în recunoașterea imaginilor astăzi. De obicei, aceste rețele necesită reinstruire după cuantizare, dar am găsit o modalitate de a evita acest lucru.”

Yakov Karandashev, candidat la științe, profesor asociat la Universitatea RUDN.

Ideea de bază din spatele simplificării neuronului artificialrețele - aceasta este așa-numita cuantificare a greutăților, adică reducerea numărului de biți pentru fiecare greutate. Cuantificarea implică media semnalului: de exemplu, dacă se aplică unei imagini, toți pixelii care reprezintă nuanțe diferite de aceeași culoare vor deveni identici. Din punct de vedere matematic, aceasta înseamnă că conexiunile neuronale care sunt similare în anumiți parametri ar trebui să aibă aceeași greutate (sau importanță), exprimată ca număr.

O echipă de matematicieni de la Universitatea RUDN a efectuat calcule șiformule create care stabilesc în mod eficient corelații între greutăți într-o rețea neuronală înainte și după cuantificare. Pe baza lor, oamenii de știință au dezvoltat algoritmi cu care o rețea neuronală instruită ar putea clasifica imaginile. În experimentul lor, matematicienii au folosit un pachet text de 50.000 de fotografii care ar putea fi împărțite în 1.000 de grupuri. După antrenament, rețeaua a fost cuantificată folosind noua metodă și nu a fost recalificată. Rezultatele au fost apoi comparate cu alți algoritmi de cuantificare.

După cuantificare, precizia clasificăriia scăzut cu doar 1%, dar volumul necesar de stocare a fost redus de șase ori. Experimentele arată că această rețea nu necesită recalificare datorită corelației puternice dintre greutățile originale și cuantificate. Această abordare poate ajuta la economisirea resurselor atunci când efectuați sarcini urgente sau lucrați pe dispozitive mobile.

Citeste mai mult:

Un motor rachetă nucleară este construit pentru zborurile către Marte. Cum este periculos?

Uită-te la imaginea de 8 trilioane de pixeli a lui Marte.

Praful lunii este mortal pentru oameni. Satelitul Pământului nu este potrivit pentru colonizare?

Avortul și știința: ce se va întâmpla cu copiii care vor naște.