Математиците намалиха размера на невронната мрежа с 6 пъти, без да я преквалифицират

Структурите на изкуствените невронни мрежи и невроните в живия организъм се основават на същите принципи.Възли в

Мрежите са взаимосвързани, но някои от тях приемат сигнала, а някои от тях предаватЗа да се обработи всеки сигнал, като изображение или звук, той изисква множество мрежови елементи и излъчвани отКомпютърните модели обаче имат ограничен капацитет и памет.За да работят с големи количества данни, професионалистите трябва да измислят различни начини за намаляване на изискванията за капацитет, включително така наречената квантуване.Това помага за намаляване на потреблението на ресурси, но изисква системата да бъде преквалифицирана.

"Преди няколко години извършихме ефикасно и рентабилно квантуване на скалите в мрежата на Hopfield.Това е мрежа с асоциативна памет със симетрични връзки между елементите, които се формират според правилото на Хеб.В хода на нейното функциониране дейността на мрежата се свежда до определено състояние на равновесие и когато се достигне, проблемът се счита за решен.Резултатите от това проучване по-късно бяха приложени към мрежите за директно обучение с дълбоко обучение, които днес са много популярни в разпознаването на изображения.Обикновено тези мрежи изискват преквалификация след квантуване, но ние намерихме начин да избегнем това."

Яков Карандашев, кандидат на науките, доцент в университета RUDN.

Основната идея за опростяване на изкуствения невронмрежи - това е така нареченото квантуване на тегла, тоест намаляване на броя на битовете за всяко тегло. Квантуването включва усредняване на сигнала: например, ако се приложи към изображение, всички пиксели, представящи различни нюанси на един и същи цвят, ще станат идентични. Математически това означава, че невронните връзки, които са сходни по определени параметри, трябва да имат еднакво тегло (или значение), изразено като число.

Екип от математици от университета RUDN извърши изчисления исъздадени формули, които ефективно установяват корелации между теглата в невронна мрежа преди и след квантуването. Въз основа на тях учените разработиха алгоритми, с които обучена невронна мрежа може да класифицира изображенията. В експеримента си математиците са използвали текстов пакет от 50 000 фотографии, които могат да бъдат разделени на 1000 групи. След обучение мрежата беше квантувана по новия метод и не беше преквалифицирана. След това резултатите бяха сравнени с други алгоритми за квантуване.

След квантуване, точността на класификациятанамалява само с 1%, но необходимият капацитет за съхранение е намален с шест пъти. Експериментите показват, че тази мрежа не изисква преквалификация поради силната корелация между първоначалното и квантовото тегло. Този подход може да помогне за спестяване на ресурси при изпълнение на спешни задачи или работа на мобилни устройства.

Прочетете още:

Изгражда се ядрен ракетен двигател за полети до Марс. Как е опасно?

Погледнете изображението на Марс с 8 трилиона пиксела.

Лунният прах е смъртоносен за хората. Сателитът на Земята не е подходящ за колонизация?

Аборт и наука: какво ще се случи с децата, които ще раждат.