Neuraaliset verkot (osa 1)

Ahmed Imam
Ahmed Imam

Follow

Jun 16, 2020 – 6 min read

Feed-Forward Neural Networks (FFNN)

Yleisimmässä muodossaan neuroverkko on kone, joka on suunniteltu mallintamaan tapaa, jolla aivot suorittavat tiettyä kiinnostavaa tehtävää tai toimintoa; verkko toteutetaan yleensä käyttämällä elektronisia komponentteja tai sitä simuloidaan ohjelmistolla digitaalisella tietokoneella.

Hyvän suorituskyvyn saavuttamiseksi neuroverkot käyttävät massiivista yksinkertaisten laskentasolujen yhteenliittämistä, joita kutsutaan "neurons", perceptrons tai ”prosessointiyksiköiksi”.

Voidaan siis tarjota seuraava neuroverkon määritelmä:

Neuroverkko on massiivisesti rinnakkainen, yksinkertaisista prosessointiyksiköistä koostuva hajautettu prosessori, jolla on luontainen taipumus tallentaa kokemusperäistä tietämystä ja asettaa se käytettäväksi. Se muistuttaa aivoja kahdessa suhteessa:

  1. Verkko hankkii tietoa ympäristöstään oppimisprosessin kautta.
  2. Neuronien keskinäisten yhteyksien voimakkuutta, joita kutsutaan synaptisiksi painotuksiksi, käytetään hankitun tiedon tallentamiseen.

Kuten ihmisaivoissa, reseptorit muuntavat ihmiskehosta tai ulkoisesta ympäristöstä tulevia ärsykkeitä sähköisiksi impulsseiksi, jotka välittävät informaatiota neuroverkkoon (aivoihin). Feed-Forward Neural Network (FFNN)

Mallit Neuroni

neuronA neuron on informaatiota käsittelevä yksikkö, joka on olennainen osa neuroverkon toimintaa.

Tässä tunnistamme neuronimallin kolme peruselementtiä:

  1. joukko synapseja (hermopäätteitä) eli yhdyslinkkejä, joista jokaiselle on ominaista 𝑤𝑒𝑖𝑔ℎ𝑡 tai 𝑠𝑡𝑟𝑒𝑛𝑔𝑡ℎ. Tarkemmin sanottuna signaali 𝑥𝑗 neuroniin 𝑘 liitetyn synapsin 𝑗 sisääntulossa kerrotaan synaptisella painolla 𝑤𝑘𝑗. On tärkeää huomioida tapa, jolla synaptisen painon 𝑤𝑘𝑗 alaviitteet kirjoitetaan. Ensimmäinen alaindeksi sanassa 𝑤𝑘𝑗 viittaa kyseiseen neuroniin, ja toinen alaindeksi viittaa sen synapsin tulopäähän, johon paino viittaa.**
  2. Lisälaskuri, jolla lasketaan yhteen neuronin synaptisilla voimakkuuksilla painotetut tulosignaalit; tässä kuvatut operaatiot muodostavat linear combiner.
  3. Aktivaatiofunktio, jolla rajoitetaan neuronin ulostulon amplitudia.Aktivointifunktiota kutsutaan myös squashing-funktioksi, koska se squashaa (rajoittaa) ulostulosignaalin sallitun amplitudialueen johonkin äärelliseen arvoon. Piilokerroksen neuroni

    Matemaattisesti voidaan kuvata kuvassa 2 esitettyä neuronia -𝑗. kirjoittamalla yhtälöpari:

    jossa 𝑥1, 𝑥2, …, 𝑥𝑚 ovat tulosignaaleja; 𝑤𝑗1 , 𝑤𝑗2 , …, …, 𝑤𝑗𝑚 ovat neuronin 𝑗 vastaavat synaptiset painot; verkko ℎ𝑗 on lineaarisen yhdistelijän ulostulo sisääntulosignaalien takia; 𝑓(⋅) on aktivointifunktio; ja 𝐼𝑗 on neuronin lähtösignaali.

    Tulostuskerroksen neuroni

    Kuva.3 Lähtökerroksen neuroni

    Matemaattisin termein voidaan kuvata kuvassa 3 esitettyä neuronia 𝑘. kirjoittamalla yhtälöpari:

    Lauseke Piilotettu neuroverkko:

    Kätketyn neuroverkon synaptiset-painot voidaan ilmaista seuraavasti:

    Koko kätketty neuroverkko voidaan ilmaista seuraavasti:

    Express Output Neural-Network:

    Kätketyn neuroverkon synaptiset painot voidaan ilmaista seuraavasti:

    Seuraava NN painoilla:

    Kuvio4.

    Ensimmäinen pari

    2. pari

    3. pari

    4. pari

    >

    Lopputulos:

    Tulos on

    Tämä tarkoittaa, että neuroverkkomme toimii sen XOR logiikka-porttina.

    Aktivaatiofunktio

    Aktivaatiofunktio voi ottaa useita muotoja ongelman mukaan onko se regressio vai luokittelu. Tässä muutamia esimerkkejä aktivointifunktioista.

    Sigmoidia ja tanhia käytetään binääriseen luokitteluun, kun taas softmaxia käytetään moniluokitusongelmiin.

    ReLU:ta ja vuotavaa ReLU:ta käytetään regression ongelmiin. Maxout-aktivointi on ReLU- ja Leaky ReLU -funktioiden yleistys.

    Biasin soveltaminen neuraaliverkkoihin.

    Kuvassa 5 näkyvässä neuromallissa. sisältää ulkoisesti käytetyn biasin, jota merkitään 𝑏𝑘 . Bias (𝑏𝑘) vaikuttaa siten, että se kasvattaa tai pienentää aktivointifunktion nettotuloa riippuen siitä, onko se vastaavasti positiivinen vai negatiivinen.

    Kuvio.5 Epälineaarinen malli
    neuronista, joka on merkitty k:lla.

    Matemaattisesti voimme kuvata neuronia 𝑘 kirjoittamalla yhtälöpari:

    jossa 𝑥1, 𝑥2, …, 𝑥𝑚 ovat tulosignaalit; 𝑤𝑘1 , 𝑤𝑘2 , …, 𝑤𝑘𝑚 ovat neuronin 𝑘 vastaavat synaptiset painot; 𝑢𝑘 (ei näy yllä olevassa kuvassa.) on sisääntulosignaalien aiheuttama lineaarisen yhdistelijän ulostulo; 𝑏𝑘 on bias; 𝜑(-) on aktivointifunktio; ja 𝑦𝑘 on neuronin lähtösignaali. Biasin 𝑏𝑘 käyttäminen vaikuttaa siten, että mallin lineaarisen yhdistelijän ulostuloon 𝑢𝑘 sovelletaan affiinimuunnosta, kuten seuraavasta käy ilmi.

    (lisätietoja. affiinisesta transformaatiosta täällä)

    Jossa 𝑣𝑘 kutsutaan indusoiduksi paikalliseksi kentäksi, tai aktivointipotentiaaliksi

    Voidaan siis ekvivalenttisesti muotoilla edellä olevien yhtälöiden yhdistelmä.

    Yllä olevaan Yhtälöön. Sen tulo on:

    Voimme siis muotoilla neuronin 𝑘 mallin uudelleen kuvassa 6 esitetyllä tavalla Kuvassa 6. Tässä kuviossa biasin vaikutus otetaan huomioon tekemällä kaksi asiaa: (1) lisätään uusi tulosignaali, joka on kiinteästi +1, ja (2) lisätään uusi synaptinen paino, joka on yhtä suuri kuin bias 𝑏𝑘 . Vaikka kuvien 5 ja 6 mallit ovat ulkonäöltään erilaisia, ne ovat matemaattisesti samanarvoisia.

    Kuvio 6 Muokattu versio neuronimallista, jossa on ennakko-odotuksia

    Toivoisin, että olet viihtynyt hermoverkkojen parissa, ja odottele lisää niiden käyttöä syvässä oppimisessa.[/56550>

Leave a Reply

Vastaa

Sähköpostiosoitettasi ei julkaista.