Matematici zmenšili veľkosť neurónovej siete šesťkrát bez toho, aby ju preškolili

Štruktúry umelých neurónových sietí a neurónov v živom organizme sú založené na rovnakých princípoch. Uzly v

siete sú prepojené, ale niektoré z nichprijímajú signál a niektoré ho vysielajú, čím sa aktivuje alebo potlačí ďalší prvok v reťazci. Spracovanie akéhokoľvek signálu, ako je obraz alebo zvuk, si vyžaduje mnoho sieťových prvkov a spojení, ktoré z nich prichádzajú. Modely počítačov však majú obmedzenú kapacitu a pamäť. Na prácu s veľkými objemami dát musia odborníci vymyslieť rôzne spôsoby, ako znížiť nároky na kapacitu, vrátane takzvaného kvantovania. To pomáha znižovať spotrebu zdrojov, ale vyžaduje si preškolenie systému.

„Pred niekoľkými rokmi sme vykonali efektívnya ekonomické kvantovanie váh v sieti Hopfield. Ide o asociatívnu pamäťovú sieť so symetrickými spojeniami medzi prvkami, ktoré sú vytvorené v súlade s Hebbovým pravidlom. Počas svojej činnosti sa činnosť siete zníži na určitý rovnovážny stav a keď sa dosiahne, problém sa považuje za vyriešený. Zistenia z tejto štúdie boli neskôr aplikované na dopredné siete hlbokého učenia, ktoré sú dnes veľmi populárne v rozpoznávaní obrázkov. Tieto siete zvyčajne vyžadujú preškolenie po kvantizácii, ale našli sme spôsob, ako sa tomu vyhnúť."

Yakov Karandashev, kandidát vied, docent na univerzite RUDN.

Základná myšlienka zjednodušenia umelého nervového systémusiete - jedná sa o takzvanú kvantizáciu váh, to znamená zníženie počtu bitov pre každú hmotnosť. Kvantizácia zahŕňa spriemerovanie signálu: napríklad ak sa aplikuje na obrázok, všetky pixely predstavujúce rôzne odtiene tej istej farby sa stanú identickými. Matematicky to znamená, že nervové spojenia, ktoré sú si v určitých parametroch podobné, by mali mať rovnakú váhu (alebo dôležitosť) vyjadrenú ako číslo.

Tím matematikov z Univerzity RUDN vykonal výpočty avytvorili vzorce, ktoré efektívne stanovujú korelácie medzi váhami v neurónovej sieti pred a po kvantizácii. Na ich základe vedci vyvinuli algoritmy, pomocou ktorých by vyškolená neurónová sieť mohla klasifikovať obrázky. Matematici pri svojom experimente použili textový balíček 50 000 fotografií, ktoré bolo možné rozdeliť do 1 000 skupín. Po tréningu bola sieť kvantovaná pomocou novej metódy a nebola preškolená. Výsledky boli potom porovnané s inými kvantizačnými algoritmami.

Po kvantizácii presnosť klasifikáciesa znížil iba o 1%, ale požadovaný úložný objem sa znížil šesťkrát. Experimenty ukazujú, že táto sieť nevyžaduje preškolenie kvôli silnej korelácii medzi pôvodnou a kvantovanou hmotnosťou. Tento prístup môže pomôcť ušetriť zdroje pri vykonávaní naliehavých úloh alebo pri práci na mobilných zariadeniach.

Čítaj viac:

Pre lety na Mars sa stavia jadrový raketový motor. Ako je to nebezpečné?

Pozrite sa na 8-biliónový obraz Marsu.

Mesačný prach je pre ľudí smrteľný. Satelit Zeme nie je vhodný na kolonizáciu?

Potraty a veda: čo sa stane s deťmi, ktoré budú rodiť.