Нови механизам за обраду података чини дубоке неуронске мреже паметнијима

„Нормализација карактеристика је важан елемент обуке дубоких неуронских мрежа и пажње

функције је подједнако важно за помоћмреже да истакне које су карактеристике извучене из необрађених података најважније за извршавање задатака“, објашњава Тианфу Ву, доцент за електротехнику и рачунарство у држави НЦ. „Али углавном су обрађивани одвојено. Открили смо да их је комбиновање учинило ефикаснијим и ефективнијим.”

Да бисте тестирали свој АН модул,истраживачи су га укључили у четири најчешће коришћене архитектуре неуронских мрежа: РесНетс, ДенсеНетс, МобилеНетсВ2 и АОГНетс. Затим су тестирали мреже према две стандардне метрике у индустрији: тест класификације ИмагеНет-1000 и МС-ЦОЦО тест детекције објеката и сегментације инстанци 2017.

„Открили смо да је АН побољшао перформансеза све четири архитектуре у оба теста “, рекао је Ву. „На пример, тачност Топ-1 у ИмагеНет-1000 побољшана је за 0,5-2,7%. Просечна прецизност (АП) се повећала на 1,8% за гранични оквир и 2,2% за семантичку маску у МС-ЦОЦО. Још једна предност АН-а је што олакшава бољи пренос учења између различитих домена. На пример, од класификације слике у ИмагеНет до детекције објеката и семантичке сегментације у МС-ЦОЦО. Ово је илустровано побољшањем перформанси у МС-ЦОЦО мерилу, које је добијено финим подешавањем дубоких неуронских мрежа које је претходно обучио ИмагеНет у МС-ЦОЦО.

„Објавили смо изворни код и надамо се да ће наш АН довести до бољег интегративног дизајна за дубоке неуронске мреже“, закључују научници.

Прочитајте такође

Испоставило се да је глечер Судњег дана опаснији него што су научници мислили. Кажемо главно

Показала су се два доказа о ванземаљском животу одједном. Један на Венери, други - нико не зна где

Испоставило се да су Уранови месеци више попут планета