A matematikusok hatszorosára csökkentették az ideghálózat méretét anélkül, hogy átképezték volna

Az élő szervezet mesterséges neurális hálózatainak és neuronjainak felépítése ugyanazokon az elveken alapul. Csomópontok be

hálózatok össze vannak kötve, de néhányukfogadják a jelet, egyesek pedig továbbítják, aktiválva vagy elnyomva a lánc következő elemét. Bármilyen jel, például kép vagy hang feldolgozásához sok hálózati elemre és az azokból származó kapcsolatra van szükség. A számítógépmodellek azonban korlátozott kapacitással és memóriával rendelkeznek. A nagy mennyiségű adat kezeléséhez a szakértőknek különféle módokat kell kidolgozniuk a kapacitásigény csökkentésére, beleértve az úgynevezett kvantálást. Ez segít csökkenteni az erőforrás-felhasználást, de a rendszer átképzését igényli.

„Néhány évvel ezelőtt hatékonyés a súlyok gazdaságos kvantálása a Hopfield hálózatban. Ez egy asszociatív memóriahálózat, amely szimmetrikus kapcsolatokat tartalmaz az elemek között, amelyek a Hebb-szabály szerint alakulnak ki. Működése során a hálózat aktivitása egy bizonyos egyensúlyi állapotra csökken, és ennek elérésekor a probléma megoldottnak tekintendő. A tanulmány eredményeit később a mély tanulási feedforward hálózatokra alkalmazták, amelyek ma nagyon népszerűek a képfelismerésben. Általában ezek a hálózatok újraképzést igényelnek a kvantálás után, de megtaláltuk a módját ennek elkerülésére."

Yakov Karandashev, a tudományok kandidátusa, a RUDN Egyetem docense.

A mesterséges neurális egyszerűsítésének alapgondolatahálózatok - ez a súlyok úgynevezett kvantálása, vagyis az egyes súlyokhoz tartozó bitek számának csökkentése. A kvantálás a jel átlagolásával jár: ha például egy képre alkalmazzuk, akkor az összes pixel, amely ugyanazon szín különböző árnyalatait képviseli, azonosak lesznek. Matematikailag ez azt jelenti, hogy bizonyos paraméterekben hasonló idegi kapcsolatoknak ugyanolyan súlyúnak (vagy fontosságúnak) kell lenniük, számként kifejezve.

A RUDN Egyetem matematikuscsoportja számításokat éslétrehozott képletek, amelyek hatékonyan hozzák létre a korrelációt az ideghálózat súlyai ​​között a kvantálás előtt és után. Ezek alapján a tudósok olyan algoritmusokat fejlesztettek ki, amelyek segítségével egy képzett idegháló képes osztályozni a képeket. Kísérletük során a matematikusok 50 000 fényképből álló szöveges csomagot használtak, amelyek 1000 csoportra oszthatók. Edzés után a hálózatot az új módszerrel kvantálták, és nem képezték át. Az eredményeket ezután összehasonlítottuk más kvantálási algoritmusokkal.

Kvantálás után az osztályozási pontosságcsak 1% -kal csökkent, de a szükséges tárolási mennyiség hatszorosára csökkent. A kísérletek azt mutatják, hogy ez a hálózat nem igényel átképzést az eredeti és a kvantált tömeg közötti szoros összefüggés miatt. Ez a megközelítés segíthet az erőforrások megtakarításában, amikor sürgős feladatokat végez vagy mobileszközökön dolgozik.

Olvass tovább:

A Marsra induló repülésekhez nukleáris rakétamotort építenek. Hogyan veszélyes?

Nézze meg a Mars 8 billió pixeles képét.

A holdpor halálos az emberek számára. A Föld műholdja nem alkalmas gyarmatosításra?

Abortusz és tudomány: mi lesz a gyerekekkel, akik szülni fognak.