Struktury sztucznych sieci neuronowych i neuronów w żywym organizmie opierają się na tych samych zasadach. Węzły w
„Kilka lat temu przeprowadziliśmy skuteczne badaniei ekonomiczna kwantyzacja wag w sieci Hopfielda. Jest to sieć pamięci asocjacyjnej z symetrycznymi połączeniami pomiędzy elementami, które powstają zgodnie z regułą Hebba. W trakcie działania sieć zostaje zredukowana do pewnego stanu równowagi, a po jej osiągnięciu problem uznaje się za rozwiązany. Wyniki tego badania zastosowano później w sieciach wyprzedzających wykorzystujących głębokie uczenie się, które są obecnie bardzo popularne w rozpoznawaniu obrazów. Zazwyczaj sieci te wymagają ponownego szkolenia po kwantyzacji, ale znaleźliśmy sposób, aby tego uniknąć.”
Jakow Karandaszew, kandydat nauk ścisłych, profesor nadzwyczajny na Uniwersytecie RUDN.
Podstawowa idea uproszczenia sztucznego neuronusieci - jest to tak zwana kwantyzacja wag, czyli zmniejszenie liczby bitów dla każdej wagi. Kwantyzacja polega na uśrednieniu sygnału: na przykład po zastosowaniu do obrazu wszystkie piksele reprezentujące różne odcienie tego samego koloru staną się identyczne. Matematycznie oznacza to, że połączenia neuronowe, które są podobne pod względem pewnych parametrów, powinny mieć tę samą wagę (lub znaczenie) wyrażoną liczbą.
Zespół matematyków z Uniwersytetu RUDN wykonał obliczenia istworzyli formuły, które skutecznie ustalają korelacje między wagami w sieci neuronowej przed i po kwantyzacji. Na ich podstawie naukowcy opracowali algorytmy, za pomocą których wyszkolona sieć neuronowa mogłaby klasyfikować obrazy. W swoim eksperymencie matematycy wykorzystali pakiet tekstowy zawierający 50 000 zdjęć, które można podzielić na 1000 grup. Po przeszkoleniu sieć została skwantyzowana przy użyciu nowej metody i nie została ponownie przeszkolona. Wyniki porównano następnie z innymi algorytmami kwantyzacji.
Po kwantyzacji dokładność klasyfikacjispadła tylko o 1%, ale wymagana objętość pamięci została zmniejszona sześciokrotnie. Eksperymenty pokazują, że ta sieć nie wymaga ponownego szkolenia ze względu na silną korelację między wagą pierwotną a skwantyzowaną. Takie podejście może pomóc zaoszczędzić zasoby podczas wykonywania pilnych zadań lub pracy na urządzeniach mobilnych.
Czytaj więcej:
Budowany jest atomowy silnik rakietowy do lotów na Marsa. Jak to jest niebezpieczne?
Spójrz na 8 bilionów pikseli obrazu Marsa.
Pył księżycowy jest śmiertelny dla ludzi. Satelita Ziemi nie nadaje się do kolonizacji?
Aborcja i nauka: co stanie się z dziećmi, które będą rodzić.