Matematikai 6 kartus sumažino nervinio tinklo dydį, jo nepersitreniravę

Dirbtinių neuronų tinklų ir neuronų struktūros gyvame organizme yra pagrįstos tais pačiais principais. Mazgai viduje

tinklai yra tarpusavyje sujungti, tačiau kai kurie iš jųpriima signalą, o kai kurie jį perduoda, aktyvuodami arba slopindami kitą grandinės elementą. Norint apdoroti bet kokį signalą, pvz., vaizdą ar garsą, reikia daug tinklo elementų ir iš jų gaunamų jungčių. Tačiau kompiuterių modelių talpa ir atmintis yra ribotos. Norėdami dirbti su dideliais duomenų kiekiais, ekspertai turi sugalvoti įvairių būdų, kaip sumažinti pajėgumų reikalavimus, įskaitant vadinamąjį kvantavimą. Tai padeda sumažinti išteklių suvartojimą, tačiau reikia perkvalifikuoti sistemą.

„Prieš keletą metų atlikome veiksmingąir ekonomiškas svorių kvantavimas Hopfield tinkle. Tai asociatyvus atminties tinklas su simetriškais ryšiais tarp elementų, suformuotų pagal Hebbo taisyklę. Jo veikimo metu tinklo veikla sumažinama iki tam tikros pusiausvyros būsenos, o ją pasiekus, problema laikoma išspręsta. Šio tyrimo išvados vėliau buvo pritaikytos gilaus mokymosi grįžtamojo ryšio tinklams, kurie šiandien yra labai populiarūs atpažįstant vaizdą. Paprastai šiuos tinklus reikia perkvalifikuoti po kvantavimo, tačiau mes radome būdą, kaip to išvengti.

Jakovas Karandaševas, mokslų kandidatas, RUDN universiteto docentas.

Pagrindinė dirbtinio neurono supaprastinimo idėjatinklai - tai vadinamasis svorių kiekybinis nustatymas, tai yra, sumažinant kiekvieno svorio bitų skaičių. Kvantavimas apima signalo vidurkį: pavyzdžiui, pritaikius vaizdą, visi pikseliai, vaizduojantys skirtingus tos pačios spalvos atspalvius, taps identiški. Matematiškai tai reiškia, kad nerviniai ryšiai, kurie yra panašūs pagal tam tikrus parametrus, turėtų turėti tą patį svorį (arba svarbą), išreikštą skaičiumi.

RUDN universiteto matematikų komanda atliko skaičiavimus irsukurtos formulės, efektyviai nustatančios koreliacijas tarp svorio nerviniame tinkle prieš ir po kvantavimo. Jų pagrindu mokslininkai sukūrė algoritmus, kuriais apmokytas neuronų tinklas galėtų klasifikuoti vaizdus. Savo eksperimente matematikai naudojo 50 000 nuotraukų tekstinį paketą, kurį galima suskirstyti į 1000 grupių. Po treniruotės tinklas buvo kiekybiškai įvertintas taikant naują metodą ir nebuvo perkvalifikuotas. Rezultatai buvo palyginti su kitais kvantavimo algoritmais.

Atlikus kvantavimą, klasifikavimo tikslumassumažėjo tik 1%, tačiau reikalingas saugyklos tūris sumažėjo šešis kartus. Eksperimentai rodo, kad šiam tinklui nereikia persikvalifikuoti dėl stiprios koreliacijos tarp pirminio ir kiekybinio svorio. Šis metodas gali padėti sutaupyti išteklių atliekant skubias užduotis ar dirbant su mobiliaisiais įrenginiais.

Skaityti daugiau:

Skrydžiams į Marsą statomas branduolinis raketinis variklis. Kuo tai pavojinga?

Pažvelkite į 8 trilijonų pikselių Marso vaizdą.

Mėnulio dulkės žmonėms yra mirtinos. Žemės palydovas kolonizacijai netinka?

Abortas ir mokslas: kas nutiks gimdantiems vaikams.