Os matemáticos reduziram o tamanho da rede neural em 6 vezes sem retreiná-la

As estruturas das redes neurais artificiais e dos neurônios em um organismo vivo baseiam-se nos mesmos princípios. Nós em

As redes estão interligadas, mas algumas delasrecebem o sinal, e alguns o transmitem, ativando ou suprimindo o próximo elemento da cadeia. O processamento de qualquer sinal, como imagem ou som, requer muitos elementos de rede e conexões provenientes deles. No entanto, os modelos de computador têm capacidade e memória limitadas. Para trabalhar com grandes volumes de dados, os especialistas têm de encontrar várias formas de reduzir os requisitos de capacidade, incluindo a chamada quantização. Isso ajuda a reduzir o consumo de recursos, mas requer um novo treinamento do sistema.

“Há vários anos, conduzimos uma campanha eficaze quantização econômica de pesos na rede Hopfield. Esta é uma rede de memória associativa com conexões simétricas entre elementos que são formadas de acordo com a regra de Hebb. Durante o seu funcionamento, a atividade da rede é reduzida a um determinado estado de equilíbrio e, quando isso é alcançado, o problema é considerado resolvido. As descobertas deste estudo foram posteriormente aplicadas a redes feedforward de aprendizagem profunda, que são muito populares hoje em dia no reconhecimento de imagens. Normalmente, essas redes exigem retreinamento após a quantização, mas encontramos uma maneira de evitar isso”.

Yakov Karandashev, Candidato em Ciências, Professor Associado da Universidade RUDN.

A ideia básica por trás da simplificação do neural artificialredes - é a chamada quantização de pesos, ou seja, reduzindo o número de bits para cada peso. A quantização envolve o cálculo da média do sinal: por exemplo, se aplicado a uma imagem, todos os pixels que representam diferentes tons da mesma cor tornam-se idênticos. Matematicamente, isso significa que as conexões neurais que são semelhantes em certos parâmetros devem ter o mesmo peso (ou importância), expresso como um número.

Uma equipe de matemáticos da Universidade RUDN realizou cálculos ecriou fórmulas que estabelecem de forma eficiente correlações entre pesos em uma rede neural antes e depois da quantização. Com base neles, os cientistas desenvolveram algoritmos com os quais uma rede neural treinada poderia classificar imagens. Em seu experimento, os matemáticos usaram um pacote de texto de 50.000 fotografias que poderiam ser divididas em 1.000 grupos. Após o treinamento, a rede foi quantizada usando o novo método e não foi retreinada. Os resultados foram então comparados com outros algoritmos de quantização.

Após a quantização, precisão de classificaçãodiminuiu apenas 1%, mas o volume de armazenamento necessário foi reduzido em seis vezes. Experimentos mostram que essa rede não requer retreinamento devido à forte correlação entre os pesos originais e quantizados. Essa abordagem pode ajudar a economizar recursos ao executar tarefas urgentes ou trabalhar em dispositivos móveis.

Consulte Mais informação:

Um motor de foguete nuclear está sendo construído para voos a Marte. Como isso é perigoso?

Olhe para a imagem de 8 trilhões de pixels de Marte.

A poeira lunar é mortal para os humanos. Satélite da Terra não é adequado para colonização?

Aborto e ciência: o que acontecerá com as crianças que vão dar à luz.