Математики зменшили розмір нейромережі в 6 разів без її перенавчання

Структури штучних нейронних мереж і нейронів у живому організмі ґрунтуються на тих же принципах. Вузли в

мережі пов'язані між собою, але деякі з нихотримують сигнал, а деякі передають його, активуючи або пригнічуючи наступний елемент в ланцюжку. Для обробки будь-якого сигналу - такого, як зображення або звуку - потрібно безліч мережевих елементів і вихідних з'єднань. Однак моделі комп'ютерів мають обмежені ємність та обсяг пам'яті. p align="justify"> Для роботи з великими обсягами даних фахівцям доводиться винаходити різні способи зниження вимог до ємності, включаючи так зване квантування. Це допомагає знизити споживання ресурсів, але потребує перенавчання системи.

«Кілька років тому ми провели ефективнета економічне квантування ваг у мережі Хопфілда. Це мережа з асоціативною пам'яттю із симетричними зв'язками між елементами, які формуються відповідно до правила Хебба. У ході її роботи активність мережі зводиться до певного стану рівноваги, і коли воно досягається, завдання вважається вирішеним. Висновки, отримані в цьому дослідженні, були застосовані до мереж прямого навчання з глибоким навчанням, які сьогодні дуже популярні в розпізнаванні зображень. Як правило, ці мережі вимагають повторного навчання після квантування, але ми знайшли спосіб уникнути цього».

Яків Карандашев, кандидат наук, доцент РУДН.

Основна ідея спрощення штучних нейроннихмереж - це так зване квантування ваг, тобто зменшення кількості бітів на любий каприз. Квантування передбачає усереднення сигналу: наприклад, якщо воно застосовується до зображення, всі пікселі, що представляють різні відтінки одного кольору, стануть ідентичними. Математично це означає, що нейронні зв'язки, схожі за певними параметрами, повинні мати однакову вагу (або на важливості), виражений числом.

Команда математиків з РУДН провела розрахунки істворила формули, які ефективно встановлюють кореляції між вагами в нейронної мережі до і після квантування. На їх основі вчені розробили алгоритми, за допомогою яких навчена нейронна мережа могла класифікувати зображення. У своєму експерименті математики використовували текстовий пакет з 50 тисяч фотографій, які можна було розділити на 1 000 груп. Після навчання мережа була квантована з використанням нового методу і не піддавалася повторному навчання. Потім результати порівнювали з іншими алгоритмами квантування.

Після квантування точність класифікаціїзнизилася всього на 1%, але необхідний обсяг сховища був зменшений в шість разів. Експерименти показують, що ця мережа не вимагає повторного навчання через сильної кореляції між вихідним і квантованим вагами. Такий підхід може допомогти економія ресурсів при виконанні термінових завдань або роботі на мобільних пристроях.

Читати ще:

Ядерний ракетний двигун будують для польотів на Марс. Чим він небезпечний?

Подивіться на зображення Марса з 8 трильйонів пікселів.

Місячний пил смертельно небезпечна для людини. Супутник Землі не підходить для колонізації?

Аборти і наука: що буде з дітьми, яких народять.