Matematici zmenšili velikost neurální sítě šestkrát, aniž by ji přeškolili

Struktury umělých neuronových sítí a neuronů v živém organismu jsou založeny na stejných principech. Uzly v

sítě jsou propojeny, ale některé z nichpřijímají signál a některé jej vysílají, čímž aktivují nebo potlačují další prvek v řetězci. Zpracování jakéhokoli signálu, jako je obraz nebo zvuk, vyžaduje mnoho síťových prvků a spojení z nich vycházejících. Počítačové modely však mají omezenou kapacitu a paměť. Pro práci s velkými objemy dat musí odborníci vymyslet různé způsoby, jak snížit nároky na kapacitu, včetně takzvané kvantizace. To pomáhá snížit spotřebu zdrojů, ale vyžaduje přeškolení systému.

„Před několika lety jsme provedli efektivnía ekonomické kvantování vah v síti Hopfield. Jedná se o asociativní paměťovou síť se symetrickými spoji mezi prvky, které jsou tvořeny v souladu s Hebbovým pravidlem. Činnost sítě se při jejím provozu snižuje do určitého rovnovážného stavu a po jejím dosažení je problém považován za vyřešený. Poznatky z této studie byly později aplikovány na dopředné sítě pro hluboké učení, které jsou dnes velmi populární v rozpoznávání obrázků. Tyto sítě obvykle vyžadují po kvantizaci přeškolení, ale našli jsme způsob, jak se tomu vyhnout."

Yakov Karandashev, kandidát věd, docent na univerzitě RUDN.

Základní myšlenka zjednodušení umělého neurálusítě - jedná se o takzvanou kvantizaci vah, to znamená snížení počtu bitů pro každou váhu. Kvantizace zahrnuje zprůměrování signálu: například při použití na obrázek se všechny pixely představující různé odstíny stejné barvy stanou identickými. Matematicky to znamená, že nervová spojení, která jsou si v určitých parametrech podobná, by měla mít stejnou váhu (nebo důležitost) vyjádřenou jako číslo.

Tým matematiků z RUDN University provedl výpočty avytvořené vzorce, které efektivně vytvářejí korelace mezi váhami v neuronové síti před a po kvantování. Na jejich základě vědci vyvinuli algoritmy, pomocí kterých by vyškolená neuronová síť mohla klasifikovat obrázky. Ve svém experimentu použili matematici textový balíček 50 000 fotografií, které bylo možné rozdělit do 1 000 skupin. Po tréninku byla síť kvantována pomocí nové metody a nebyla rekvalifikována. Výsledky byly poté porovnány s jinými kvantizačními algoritmy.

Po kvantizaci přesnost klasifikacesnížil pouze o 1%, ale požadovaná skladovací kapacita se snížila šestkrát. Experimenty ukazují, že tato síť nevyžaduje rekvalifikaci kvůli silné korelaci mezi původní a kvantovanou hmotností. Tento přístup může pomoci ušetřit zdroje při provádění naléhavých úkolů nebo při práci na mobilních zařízeních.

Přečtěte si více:

Pro lety na Mars se staví jaderný raketový motor. Jak je to nebezpečné?

Podívejte se na 8 bilionů pixelů na Marsu.

Měsíční prach je pro člověka smrtelný. Satelit Země není vhodný pro kolonizaci?

Potrat a věda: co se stane s dětmi, které porodí.