Matematikçiler sinir ağının boyutunu yeniden eğitmeden 6 kat azalttı

Структуры искусственных нейронных сетей и нейронов в живом организме основаны на тех же принципах. Узлы в

сети связаны между собой, но некоторые из них получают сигнал, а некоторые — передают его, активируя или подавляя следующий элемент в цепочке. Для обработки любого сигнала — такого, как изображения или звука — требуется множество сетевых элементов и исходящих от них соединений. Однако модели компьютеров имеют ограниченные емкость и объем памяти. Для работы с большими объемами данных специалистам приходится изобретать различные способы снижения требований к емкости, включая так называемое квантование. Это помогает снизить потребление ресурсов, но требует переобучения системы.

«Несколько лет назад мы провели эффективное и экономичное квантование весов в сети Хопфилда. Это сеть с ассоциативной памятью с симметричными связями между элементами, которые формируются в соответствии с правилом Хебба. В ходе ее работы активность сети сводится к определенному состоянию равновесия, и когда оно достигается, задача считается решенной. Выводы, полученные в этом исследовании, позже были применены к сетям прямого обучения с глубоким обучением, которые сегодня очень популярны в распознавании изображений. Как правило, эти сети требуют повторное обучение после квантования, но мы нашли способ избежать этого».

Яков Карандашев, кандидат наук, доцент РУДН.

Yapay sinir sistemini basitleştirmenin arkasındaki temel fikirağlar - bu, ağırlıkların nicelleştirilmesidir, yani her ağırlık için bit sayısını azaltır. Niceleme, sinyalin ortalamasının alınmasını içerir: örneğin, bir görüntüye uygulandığında, aynı rengin farklı tonlarını temsil eden tüm pikseller aynı hale gelecektir. Matematiksel olarak bu, belirli parametrelerde benzer olan sinir bağlantılarının bir sayı olarak ifade edilen aynı ağırlığa (veya öneme) sahip olması gerektiği anlamına gelir.

RUDN Üniversitesinden bir matematikçi ekibi hesaplamalar yaptı venicemlemeden önce ve sonra bir sinir ağındaki ağırlıklar arasında verimli bir şekilde ilişki kuran formüller yarattı. Bilim adamları, temelde, eğitimli bir sinir ağının görüntüleri sınıflandırabileceği algoritmalar geliştirdiler. Matematikçiler deneylerinde, 1.000 gruba ayrılabilen 50.000 fotoğraftan oluşan bir metin paketi kullandılar. Eğitimden sonra, ağ yeni yöntem kullanılarak nicelleştirildi ve yeniden eğitilmedi. Sonuçlar daha sonra diğer niceleme algoritmalarıyla karşılaştırıldı.

Nicemlemeden sonra, sınıflandırma doğruluğuyalnızca% 1 azaldı, ancak gerekli depolama hacmi altı kat azaldı. Deneyler, orijinal ve nicelenmiş ağırlıklar arasındaki güçlü korelasyon nedeniyle bu ağın yeniden eğitim gerektirmediğini göstermektedir. Bu yaklaşım, acil görevleri gerçekleştirirken veya mobil cihazlarda çalışırken kaynakları korumaya yardımcı olabilir.

Daha fazla oku:

Mars'a uçuşlar için bir nükleer roket motoru inşa ediliyor. Nasıl tehlikelidir?

Mars'ın 8 trilyon piksellik görüntüsüne bakın.

Ay tozu insanlar için ölümcüldür. Dünyanın uydusu kolonizasyon için uygun değil mi?

Kürtaj ve bilim: Doğum yapacak olan çocuklara ne olacak?