I matematici hanno ridotto la dimensione della rete neurale di 6 volte senza riqualificarla

Le strutture delle reti neurali artificiali e dei neuroni in un organismo vivente si basano sugli stessi principi. Nodi dentro

le reti sono interconnesse, ma alcune di essericevono il segnale e alcuni lo trasmettono, attivando o sopprimendo l'elemento successivo nella catena. L'elaborazione di qualsiasi segnale, come un'immagine o un suono, richiede molti elementi di rete e connessioni da essi derivanti. Tuttavia, i modelli di computer hanno capacità e memoria limitate. Per lavorare con grandi volumi di dati, gli esperti devono escogitare vari modi per ridurre i requisiti di capacità, inclusa la cosiddetta quantizzazione. Ciò aiuta a ridurre il consumo di risorse, ma richiede la riqualificazione del sistema.

“Diversi anni fa abbiamo condotto un efficacee quantizzazione economica dei pesi nella rete di Hopfield. Questa è una rete di memoria associativa con connessioni simmetriche tra elementi formati secondo la regola di Hebb. Durante il suo funzionamento, l'attività della rete si riduce a un certo stato di equilibrio e, una volta raggiunto, il problema è considerato risolto. I risultati di questo studio sono stati successivamente applicati alle reti feedforward di deep learning, che oggi sono molto popolari nel riconoscimento delle immagini. In genere, queste reti richiedono una riqualificazione dopo la quantizzazione, ma abbiamo trovato un modo per evitarlo."

Yakov Karandashev, candidato in scienze, professore associato presso l'Università RUDN.

L'idea alla base della semplificazione del neurale artificialereti: questa è la cosiddetta quantizzazione dei pesi, ovvero la riduzione del numero di bit per ogni peso. La quantizzazione implica la media del segnale: ad esempio, se applicato a un'immagine, tutti i pixel che rappresentano diverse sfumature dello stesso colore diventeranno identici. Matematicamente, ciò significa che le connessioni neurali che sono simili in determinati parametri dovrebbero avere lo stesso peso (o importanza), espresso come numero.

Un team di matematici dell'Università RUDN ha eseguito calcoli eha creato formule che stabiliscono in modo efficiente le correlazioni tra i pesi in una rete neurale prima e dopo la quantizzazione. Sulla loro base, gli scienziati hanno sviluppato algoritmi con i quali una rete neurale addestrata potrebbe classificare le immagini. Nel loro esperimento, i matematici hanno utilizzato un pacchetto di testo di 50.000 fotografie che potevano essere divise in 1.000 gruppi. Dopo l'allenamento, la rete è stata quantizzata utilizzando il nuovo metodo e non è stata riqualificata. I risultati sono stati poi confrontati con altri algoritmi di quantizzazione.

Dopo la quantizzazione, l'accuratezza della classificazioneè diminuito solo dell'1%, ma il volume di archiviazione richiesto è stato ridotto di sei volte. Gli esperimenti mostrano che questa rete non necessita di riqualificazione a causa della forte correlazione tra i pesi originali e quantizzati. Questo approccio può aiutare a risparmiare risorse quando si eseguono attività urgenti o si lavora su dispositivi mobili.

Leggi di più:

È in costruzione un motore a razzo nucleare per i voli su Marte. Come è pericoloso?

Guarda l'immagine di 8 trilioni di pixel di Marte.

La polvere lunare è mortale per gli esseri umani. Satellite of the Earth non è adatto alla colonizzazione?

Aborto e scienza: cosa succederà ai bambini che partoriranno.