Matemaatikot pienensivät hermoverkon kokoa 6 kertaa kouluttamatta sitä uudelleen

Elävän organismin keinotekoisten hermoverkkojen ja hermosolujen rakenteet perustuvat samoihin periaatteisiin. Solmut sisään

verkot ovat yhteydessä toisiinsa, mutta osa niistävastaanottaa signaalin, ja jotkut lähettävät sen aktivoiden tai vaimentaen ketjun seuraavan elementin. Minkä tahansa signaalin, kuten kuvan tai äänen, käsittely vaatii monia verkkoelementtejä ja niistä tulevia yhteyksiä. Tietokonemalleissa on kuitenkin rajallinen kapasiteetti ja muisti. Suurten tietomäärien käsittelyä varten asiantuntijoiden on keksittävä erilaisia ​​tapoja vähentää kapasiteettivaatimuksia, mukaan lukien niin sanottu kvantisointi. Tämä auttaa vähentämään resurssien kulutusta, mutta vaatii järjestelmän uudelleenkoulutusta.

”Muutama vuosi sitten teimme tehokkaanja painojen taloudellinen kvantisointi Hopfield-verkossa. Tämä on assosiatiivinen muistiverkko, jossa on symmetriset yhteydet elementtien välillä, jotka muodostetaan Hebbin säännön mukaisesti. Verkon toiminta pienenee sen toiminnan aikana tiettyyn tasapainotilaan, ja kun se saavutetaan, ongelma katsotaan ratkaistuksi. Tämän tutkimuksen tuloksia sovellettiin myöhemmin syvän oppimisen myötäkytkentäverkkoihin, jotka ovat nykyään erittäin suosittuja kuvantunnistuksessa. Tyypillisesti nämä verkot vaativat uudelleenkoulutusta kvantisoinnin jälkeen, mutta löysimme tavan välttää tämä."

Yakov Karandashev, tieteiden kandidaatti, RUDN-yliopiston apulaisprofessori.

Keinotekoisen hermosolujen yksinkertaistamisen perusajatusverkot - tämä on ns. painojen kvantisointi, toisin sanoen bittien määrän vähentäminen kutakin painoa kohti. Kvantisointiin kuuluu signaalin keskiarvointi: jos esimerkiksi sitä käytetään kuvaan, kaikki saman värin eri sävyjä edustavat pikselit muuttuvat identtisiksi. Matemaattisesti tämä tarkoittaa, että hermoyhteyksillä, jotka ovat samankaltaisia ​​tietyissä parametreissa, pitäisi olla sama paino (tai merkitys) lukuna ilmaistuna.

RUDN-yliopiston matemaatikkoryhmä suoritti laskelmia jaluotuja kaavoja, jotka muodostavat tehokkaasti korrelaation hermoverkon painojen välillä ennen ja jälkeen kvantisoinnin. Niiden pohjalta tutkijat kehittivät algoritmeja, joiden avulla koulutettu hermoverkko voisi luokitella kuvia. Kokemuksessaan matemaatikot käyttivät 50000 valokuvan tekstipakettia, joka voidaan jakaa 1000 ryhmään. Harjoittelun jälkeen verkko kvantisoitiin uudella menetelmällä eikä sitä koulutettu uudelleen. Tuloksia verrattiin sitten muihin kvantisointialgoritmeihin.

Kvantisoinnin jälkeen luokituksen tarkkuuslaski vain 1%, mutta vaadittu varastointikapasiteetti väheni kuusi kertaa. Kokeet osoittavat, että tämä verkko ei vaadi uudelleenkoulutusta alkuperäisen ja kvantisoidun painon vahvan korrelaation vuoksi. Tämä lähestymistapa voi auttaa säästämään resursseja, kun suoritat kiireellisiä tehtäviä tai työskentelet mobiililaitteilla.

Lue lisää:

Ydinrakettimoottoria rakennetaan Mars-lennoille. Kuinka se on vaarallista?

Katso Marsin 8 biljoonan pikselin kuva.

Kuupöly on tappavaa ihmisille. Maan satelliitti ei sovellu kolonisaatioon?

Abortti ja tiede: mitä tapahtuu synnyttäville lapsille.