Matemātiķi 6 reizes samazināja neironu tīkla izmēru, to nepārkvalificējot

Mākslīgo neironu tīklu un neironu struktūras dzīvā organismā balstās uz tiem pašiem principiem. Mezgli iekšā

tīkli ir savstarpēji savienoti, taču daži no tiemsaņem signālu, un daži to pārraida, aktivizējot vai nomācot nākamo ķēdes elementu. Jebkura signāla, piemēram, attēla vai skaņas, apstrādei ir nepieciešami daudzi tīkla elementi un savienojumi, kas nāk no tiem. Tomēr datoru modeļiem ir ierobežota ietilpība un atmiņa. Lai strādātu ar lielu datu apjomu, ekspertiem ir jāizdomā dažādi veidi, kā samazināt jaudas prasības, tostarp tā saukto kvantēšanu. Tas palīdz samazināt resursu patēriņu, bet prasa sistēmas pārkvalificēšanu.

“Pirms vairākiem gadiem mēs veicām efektīvuun ekonomiska svaru kvantēšana Hopfīlda tīklā. Šis ir asociatīvas atmiņas tīkls ar simetriskiem savienojumiem starp elementiem, kas tiek veidoti saskaņā ar Heba likumu. Tā darbības laikā tīkla darbība tiek samazināta līdz noteiktam līdzsvara stāvoklim, un, kad tas tiek sasniegts, problēma tiek uzskatīta par atrisinātu. Šī pētījuma secinājumi vēlāk tika piemēroti dziļās mācīšanās pārejas tīkliem, kas mūsdienās ir ļoti populāri attēlu atpazīšanā. Parasti šiem tīkliem pēc kvantifikācijas ir nepieciešama pārkvalifikācija, taču mēs atradām veidu, kā no tā izvairīties."

Jakovs Karandaševs, zinātņu kandidāts, RUDN universitātes asociētais profesors.

Mākslīgo neironu vienkāršošanas pamatidejatīkli - tā ir tā sauktā svaru kvantēšana, tas ir, samazinot bitu skaitu katram svaram. Kvantēšana ietver signāla vidējo aprēķināšanu: piemēram, ja tas tiek piemērots attēlam, visi pikseļi, kas attēlo dažādus vienas krāsas toņus, kļūs identiski. Matemātiski tas nozīmē, ka neironu savienojumiem, kas ir līdzīgi noteiktos parametros, vajadzētu būt vienādam svaram (vai svarīgumam), kas izteikts kā skaitlis.

RUDN universitātes matemātiķu komanda veica aprēķinus unizveidotas formulas, kas efektīvi izveido korelācijas starp svaru neironu tīklā pirms un pēc kvantēšanas. Uz to pamata zinātnieki izstrādāja algoritmus, ar kuriem apmācīts neironu tīkls varētu klasificēt attēlus. Savā eksperimentā matemātiķi izmantoja 50 000 fotogrāfiju teksta paketi, kuru varēja sadalīt 1000 grupās. Pēc apmācības tīkls tika kvantificēts, izmantojot jauno metodi, un netika pārkvalificēts. Pēc tam rezultātus salīdzināja ar citiem kvantēšanas algoritmiem.

Pēc kvantēšanas klasifikācijas precizitātesamazinājās tikai par 1%, bet nepieciešamais krātuves apjoms tika samazināts sešas reizes. Eksperimenti rāda, ka šim tīklam nav nepieciešama pārkvalifikācija, jo pastāv cieša korelācija starp sākotnējo un kvantēto svaru. Šī pieeja var palīdzēt ietaupīt resursus, veicot neatliekamus uzdevumus vai strādājot ar mobilajām ierīcēm.

Lasīt vairāk:

Lidojumiem uz Marsu tiek būvēts kodolraķešu dzinējs. Kā tas ir bīstami?

Paskaties uz Marsa 8 triljonu pikseļu attēlu.

Mēness putekļi cilvēkiem ir nāvējoši. Zemes satelīts nav piemērots kolonizācijai?

Aborts un zinātne: kas notiks ar bērniem, kas dzemdēs.