인공 신경망과 살아있는 유기체의 뉴런의 구조는 동일한 원리에 기초합니다. 노드
“몇 년 전 우리는 효과적인Hopfield 네트워크에서 가중치를 경제적으로 양자화합니다. 이것은 Hebb의 법칙에 따라 형성된 요소들 사이의 대칭 연결을 갖는 연관 메모리 네트워크입니다. 작동하는 동안 네트워크의 활동은 특정 평형 상태로 감소하며, 이것이 달성되면 문제가 해결된 것으로 간주됩니다. 이 연구의 결과는 나중에 오늘날 이미지 인식 분야에서 매우 인기가 있는 딥러닝 피드포워드 네트워크에 적용되었습니다. 일반적으로 이러한 네트워크는 양자화 후 재교육이 필요하지만 우리는 이를 방지할 수 있는 방법을 찾았습니다."
Yakov Karandashev, 과학 후보자, RUDN 대학 부교수.
인공 신경 단순화의 기본 아이디어네트워크-이것은 소위 가중치의 양자화, 즉 각 가중치에 대한 비트 수를 줄입니다. 양자화는 신호 평균화를 포함합니다. 예를 들어 이미지에 적용하면 동일한 색상의 다른 음영을 나타내는 모든 픽셀이 동일 해집니다. 수학적으로 이것은 특정 매개 변수에서 유사한 신경 연결이 숫자로 표시되는 동일한 가중치 (또는 중요도)를 가져야 함을 의미합니다.
RUDN 대학의 수학자 팀이 계산을 수행하고양자화 전후에 신경망에서 가중치 간의 상관 관계를 효과적으로 설정하는 공식을 만들었습니다. 이를 바탕으로 과학자들은 훈련 된 신경망이 이미지를 분류 할 수있는 알고리즘을 개발했습니다. 실험에서 수학자들은 1,000 개의 그룹으로 나눌 수있는 50,000 장의 사진이 담긴 텍스트 패키지를 사용했습니다. 훈련 후, 네트워크는 새로운 방법을 사용하여 양자화되었으며 재 훈련되지 않았습니다. 결과는 다른 양자화 알고리즘과 비교되었습니다.
양자화 후 분류 정확도단 1 % 감소했지만 필요한 스토리지 용량은 6 배 감소했습니다. 실험에 따르면이 네트워크는 원래 가중치와 양자화 된 가중치 간의 강한 상관 관계로 인해 재 학습이 필요하지 않습니다. 이 접근 방식은 긴급한 작업을 수행하거나 모바일 장치에서 작업 할 때 리소스를 절약하는 데 도움이 될 수 있습니다.
더 읽어보기 :
화성 비행을 위해 핵 로켓 엔진이 제작되고 있습니다. 어떻게 위험 해?
화성의 8 조 픽셀 이미지를보십시오.
달 먼지는 인간에게 치명적입니다. 지구의 위성은 식민지화에 적합하지 않습니까?
낙태와 과학 : 출산 할 아이들은 어떻게 될까요?