Poistin 74 % neuroneista hermoverkosta. Se laski tarkkuutta vain 0,50 %. Tässä erittely (koodilla):

Koulutetussa hermoverkossa on aina neuroneja, jotka eivät vaikuta merkittävästi suorituskykyyn. Mutta ne kuluttavat silti muistia. Ne voidaan poistaa tarkkuudesta merkittävästi tinkimättä. Katsotaanpa, kuinka ne tunnistetaan!

Tässä ovat vaiheet: Vaihe 1) Harjoittele hermoverkkoa tavalliseen tapaan. Vaihe 2) Välitä validointisarja koulutetun verkon läpi ja laske jokaiselle piilotettujen kerrosten neuronille: - Keskimääräinen aktivointi - Aktivointien varianssi (jos aktivaatiot voivat olla -ve) Tarkista tämä👇

Vaihe 3) Leikkaa hermosoluja, joiden aktivaatiokeskiarvo ja varianssi ovat lähes nolla, koska niillä on vain vähän vaikutusta mallin tulokseen. Ihannetapauksessa piirrä suorituskyky useille karsimiskynnyksille valitaksesi mallin, joka sopii kokosi ja tarkkuuden kompromisseihin. Tarkista tämä 👇

Katsotaanpa koodia. Aloitamme määrittelemällä yksinkertaisen neuroverkon ja kouluttamalla sen. Koska laskemme neuronitason aktivaatiot myöhemmin karsimista varten, palautamme kaikki väliaktivoinnit eteenpäin. Tarkista tämä👇

Seuraavaksi määrittelemme kaksi luetteloa, joissa on kolme elementtiä: - Toinen tallentaa aktivointien keskiarvot - Toinen tallentaa aktivointien vakiokehitystä Välitämme validointijoukon mallimme läpi laskeaksemme nämä tilastot kullekin piilotetulle kerrokselle. Tarkista tämä 👇

Luodaan tässä vaiheessa jakaumakaavio yllä luomistamme neuronitason tilastoista. Kuten alla on kuvattu, useimpien neuronien keskimääräiset aktivaatiot ja niiden sukupuolikehitys jakautuvat voimakkaasti lähes nolla-arvojen ympärille. Yritetään karsia niitä seuraavaksi.

Karsimista varten iteroimme kynnysarvojen luettelon yli ja: - Luo uusi verkko ja siirrä painot, jotka ylittävät kynnyksen. - Arvioi uusi verkko ja laske kokonaisparametrit. - Liitä tulokset luetteloon. Tarkista tämä 👇

Tässä taulukossa verrataan karsitun mallin tarkkuutta ja koon pienenemistä useilla kynnysarvoilla verrattuna alkuperäiseen malliin. Keskiarvo = 0,1 ja vakiomuoto = 0,4: - Mallin tarkkuus laskee 0,08 %. - Mallin koko pienenee 62 %. Se on valtava vähennys. Tarkista tämä 👇

Tässä on toinen mielenkiintoinen tulos. Keskiarvo = 0,5 ja std-dev = 1: - Mallin tarkkuus laskee 0,5 %. - Mallin koko pienenee 74 %. Joten pohjimmiltaan saamme lähes samanlaisen suorituskyvyn 1/4 parametreista. Tarkista tämä 👇

Tarkkuuden ja koon välillä on tietysti kompromissi. Kun pienennämme kokoa, sen tarkkuus laskee (tarkista video). Mutta useimmissa tapauksissa tarkkuus ei ole ainoa optimoimamme mittari. Sen sijaan useat toiminnalliset mittarit, kuten tehokkuus, muisti jne., ovat avaintekijöitä.