Neurális hálózatok (1. rész)

Ahmed Imam
Ahmed Imam

Follow

jún. 16, 2020 – 6 min read

Feed-Forward Neural Networks (FFNN)

A legáltalánosabb formában a neurális hálózat egy olyan gép, amelyet arra terveztek, hogy modellezze azt a módot, ahogyan az agy egy adott feladatot vagy funkciót végez; a hálózatot általában elektronikus alkatrészek felhasználásával valósítják meg, vagy egy digitális számítógépen szoftverben szimulálják.

A jó teljesítmény elérése érdekében a neurális hálózatok a "neurons", perceptrons vagy “feldolgozóegységeknek” nevezett egyszerű számítócellák tömeges összekapcsolását alkalmazzák.

A neurális hálózatra tehát a következő definíciót adhatjuk:

A neurális hálózat egy egyszerű feldolgozóegységekből álló, tömegesen párhuzamos, elosztott processzor, amelynek természetes hajlama van a tapasztalati tudás tárolására és felhasználásra való rendelkezésre bocsátására. Két tekintetben hasonlít az agyra:

  1. A tudást a hálózat a környezetéből szerzi meg egy tanulási folyamat révén.
  2. A neuronok összekapcsolódási erőssége, az úgynevezett szinaptikus súlyok segítségével tárolja a megszerzett tudást.

Az emberi agyhoz hasonlóan a receptorok az emberi testből vagy a külső környezetből érkező ingereket elektromos impulzusokká alakítják, amelyek információt közvetítenek a neurális hálózat (agy) felé. Az effektorok a neurális háló által generált elektromos impulzusokat a rendszer kimeneteként érzékelhető válaszokká alakítják.

Feed-Forward Neural Network (FFNN)

Fig.1 Feed-Forward neurális hálózat (FFNN)

A neuron modelljei

A neuron egy információfeldolgozó egység, amely alapvető fontosságú a neurális hálózat működésében.

Itt a neuronmodell három alapvető elemét azonosítjuk:

  1. Szinapszisok (idegvégződések), vagyis összekötő láncszemek halmazát, amelyek mindegyikét egy-egy 𝑤𝑒𝑖𝑔ℎ𝑡 vagy 𝑠𝑡𝑟𝑒𝑛𝑔𝑡ℎ sajátosság jellemzi. Pontosabban, a 𝑥𝑗 neuronhoz 𝑘 kapcsolódó 𝑗 szinapszis bemenetén lévő 𝑥𝑗 jelet megszorozzuk a 𝑤𝑘𝑗 szinaptikus súllyal. Fontos megjegyezni, hogy a szinaptikus súly 𝑤𝑘𝑘𝑗 aljelzőit milyen módon írjuk. A 𝑤𝑘𝑗 első indexe a szóban forgó neuronra utal, a második index pedig annak a szinapszisnak a bemeneti végére, amelyre a súly vonatkozik.**
  2. A neuron megfelelő szinaptikus erősségeivel súlyozott bemeneti jelek összegzésére szolgáló összeadó; az itt leírt műveletek egy linear combiner-t alkotnak.
  3. A neuron kimeneti amplitúdójának korlátozására szolgáló aktiváló függvény.Az aktiváló függvényt squashing függvénynek is nevezik, mivel a kimeneti jel megengedett amplitúdó tartományát valamilyen véges értékre squasholja (korlátozza). Tipikusan a neuron kimenetének normalizált amplitúdótartományát zárt egységnyi intervallumként írjuk fel , vagy alternatívaként .

Rejtett rétegű neuron

2. ábra. Rejtett rétegű neuron

Matematikailag leírhatjuk a 2. ábrán ábrázolt -𝑗 neuront. az egyenletpár felírásával:

ahol 𝑥1, 𝑥2, …, 𝑥𝑚 a bemeneti jelek; 𝑤𝑗1 , 𝑤𝑗2 , …, 𝑤𝑗𝑚 a 𝑗 neuron megfelelő szinaptikus súlyai; net ℎ𝑗 a lineáris kombinátor kimenete a bemeneti jelek miatt; 𝑓(⋅) az aktivációs függvény; és 𝐼𝑗 a neuron kimeneti jele.

Kimeneti rétegű neuron

3. ábra. Kimeneti réteg neuron

Matematikailag leírhatjuk a 3. ábrán ábrázolt 𝑘 neuront. az alábbi egyenletpár felírásával:

Kifejezze rejtett neurális hálózat:

A Rejtett Neurális Hálózat szinaptikus súlyai a következőképpen fejezhetők ki:

A teljes Rejtett Neurális Hálózat a következőképpen fejezhető ki:

Kifejezett kimeneti neurális hálózat:

A rejtett neurális hálózat szinaptikus súlyai a következőképpen fejezhetők ki:

A teljes rejtett neurális hálózat kifejezhető:

Példa_1.

Adott a következő NN súlyokkal:

Az 4. ábra. Példa_1

Bemenetek:

A következő aktivációs függvényt használjuk:

megoldás:

Első pár

2. pár

3. pár

4. pár

végeredmény:

A kimenete

Ez azt jelenti, hogy a neurális hálózatunk úgy működik, mint a saját XOR logikai kapuja.

Activation Function

Activation function can take several forms according to problem is it regression or classification. Íme néhány példa az aktiválási függvényekre:

Sigmoid és tanh bináris osztályozáshoz, míg softmax többosztályozási problémákhoz használatos.

ReLU és Leaky ReLU regressziós problémákra használják. A Maxout aktiválás a ReLU és a szivárgó ReLU függvények általánosítása.

Bias alkalmazása neurális hálózatokra.

A neurális modell az 5. ábrán. tartalmaz egy külsőleg alkalmazott torzítást, amelyet 𝑏𝑘-vel jelölünk. Az előfeszítés (𝑏𝑘) hatására az aktiválási függvény nettó bemenete növekszik vagy csökken, attól függően, hogy pozitív vagy negatív.

5. ábra. Nemlineáris modell
egy k-val jelölt neuronról.

Matematikai értelemben a neuron 𝑘t a következő egyenletpár felírásával írhatjuk le:

ahol 𝑥1, 𝑥2, …, 𝑥𝑚 a bemeneti jelek; 𝑤𝑘1 , 𝑤𝑘2 , …, 𝑤𝑘𝑚 az 𝑘 neuron megfelelő szinaptikus súlyai; 𝑢𝑘 (a fenti ábrán nem látható.) a lineáris kombinátor kimenete a bemeneti jelek miatt; 𝑏𝑘 az előfeszítés; 𝜑(-) az aktiválási függvény; és 𝑦𝑘 a neuron kimeneti jele. Az 𝑏𝑘 előfeszítés használata azt eredményezi, hogy a modellben szereplő lineáris kombinátor 𝑢𝑘 kimenetére affin transzformációt alkalmazunk, amint azt a következők mutatják.

(bővebben. az affin transzformációról itt)

Ahol 𝑣𝑘 az úgynevezett indukált lokális mező, vagy aktivációs potenciál

Egyenértékűen megfogalmazhatjuk tehát a fenti egyenletek kombinációját.

A fenti egyenletben egy új szinapszist adtunk. Ennek bemenete:

Az 𝑘 neuron modelljét tehát a 6. ábrán látható módon újrafogalmazhatjuk Ebben az ábrában az előfeszítés hatását két dologgal vesszük figyelembe: (1) hozzáadunk egy új, +1-re rögzített bemeneti jelet, és (2) hozzáadunk egy új szinaptikus súlyt, amely egyenlő az 𝑏𝑘 előfeszítéssel. Bár az 5. és 6. ábra modelljei külsejükben különböznek, matematikailag egyenértékűek.

6. ábra A neuronmodell módosított változata előfeszítéssel

Remélem, tetszett a neurális hálózatok és várjuk további alkalmazásukat a mélytanulásban.

Leave a Reply

Vélemény, hozzászólás?

Az e-mail-címet nem tesszük közzé.