Feed-Forward Neural Networks (FFNN)
In zijn meest algemene vorm is een neuraal netwerk een machine die is ontworpen om model te staan voor de manier waarop de hersenen een bepaalde taak of functie van belang uitvoeren; het netwerk wordt gewoonlijk geΓ―mplementeerd met behulp van elektronische componenten of wordt gesimuleerd in software op een digitale computer.
Om goede prestaties te bereiken, maken neurale netwerken gebruik van een massale onderlinge verbinding van eenvoudige rekencellen, aangeduid als "neurons", perceptrons of “verwerkingseenheden”.
We kunnen dus de volgende definitie van een neuraal netwerk geven:
Een neuraal netwerk is een massaal parallelle gedistribueerde processor die bestaat uit eenvoudige verwerkingseenheden die een natuurlijke neiging heeft om ervaringskennis op te slaan en voor gebruik beschikbaar te stellen. Het lijkt in twee opzichten op de hersenen:
- Kennis wordt door het netwerk uit zijn omgeving verworven door middel van een leerproces.
- Neurons onderlinge verbindingssterkten, bekend als synaptische gewichten, worden gebruikt om de verworven kennis op te slaan.
Net als in de menselijke hersenen zetten de receptoren prikkels van het menselijk lichaam of de externe omgeving om in elektrische impulsen die informatie overbrengen naar het neurale netwerk (hersenen). De effectoren zetten de door het neurale net gegenereerde elektrische impulsen om in waarneembare reacties als systeemoutputs.
Feed-Forward Neural Network (FFNN)
Modellen van neuronen
Een neuron is een informatieverwerkende eenheid die van fundamenteel belang is voor de werking van een neuraal netwerk.
Hierbij identificeren we drie basiselementen van het neurale model:
- Een reeks synapsen (zenuwuiteinden), of verbindende schakels, die elk gekenmerkt worden door een eigen π€πππβπ‘ of π π‘πππππ‘β. Specifiek wordt een signaal π₯π aan de ingang van synaps π verbonden met neuron π vermenigvuldigd met het synaptische gewicht π€ππ. Het is belangrijk om nota te nemen van de manier waarop de subscripts van het synaptische gewicht π€ππ worden geschreven. Het eerste subscript in π€ππ verwijst naar het neuron in kwestie, en het tweede subscript verwijst naar het ingangsuiteinde van de synaps waarnaar het gewicht verwijst.**
- Een opteller voor het optellen van de ingangssignalen, gewogen met de respectieve synaptische sterktes van het neuron; de hier beschreven bewerkingen vormen een
linear combiner. - Een activeringsfunctie voor het beperken van de amplitude van de output van een neuron.De activeringsfunctie wordt ook wel een squashing-functie genoemd, in die zin dat zij het toelaatbare amplitudebereik van het outputsignaal tot een eindige waarde squasht (beperkt). Gewoonlijk wordt het genormaliseerde amplitudebereik van de output van een neuron geschreven als het gesloten eenheidsinterval , of, als alternatief, .
Hidden-Laag Neuron
In wiskundige termen kunnen we het neuron -π dat is afgebeeld in Fig.2 door het volgende paar vergelijkingen te schrijven:
waar π₯1, π₯2, …, π₯π de ingangssignalen zijn; π€π1 , π€π2 , …, π€ππ zijn de respectieve synaptische gewichten van neuron π; net βπ is de lineaire combiner uitgang als gevolg van de ingangssignalen; π(β ) is de activeringsfunctie; en πΌπ is het uitgangssignaal van het neuron.
Uitgangslaagneuron
In wiskundige termen kunnen we het neuron π, afgebeeld in Fig.3 door de volgende twee vergelijkingen te schrijven:
Uitdruk Verborgen Neuraal-Netwerk:
Het Verborgen Neuraal Netwerk Synaptische Gewichten kan worden uitgedrukt als:
Het gehele Verborgen Neuraal Netwerk kan worden uitgedrukt als:
Express Output Neural-Network:
Het Verborgen Neurale Netwerk Synaptische-gewichten kan worden uitgedrukt als:
Het gehele Verborgen Neuraal Netwerk kan worden uitgedrukt als:
Exemplaar_1.
Gegeven de volgende NN met gewichten:
Inputs:
De volgende activeringsfunctie wordt gebruikt:
Oplossing:
Eerste paar
2e paar
3e paar
4e paar
Eindresultaat:
Uitgang van is
Dit betekent dat ons neuraal netwerk fungeert als zijn XOR logic-gate.
Activeringsfunctie
Activeringsfunctie kan verschillende vormen aannemen afhankelijk van het probleem is het regressie of classificatie. Hier volgen enkele voorbeelden van activeringsfuncties.
SigmoΓ―de en tanh worden gebruikt voor binaire classificatie, terwijl softmax wordt gebruikt voor multi-classificatieproblemen.
ReLU en Leaky ReLU worden gebruikt voor regressieproblemen. De Maxout-activering is een veralgemening van de ReLU- en de lekkende ReLU-functies.
Toepassing van bias op neurale netwerken.
Het neurale model in Fig.5 bevat een extern toegepaste bias, aangeduid met ππ . De bias (ππ) heeft tot gevolg dat de netto-input van de activeringsfunctie wordt verhoogd of verlaagd, afhankelijk van het feit of deze positief of negatief is.
van een neuron, met het label k.
In wiskundige termen kunnen we het neuron π beschrijven door het paar vergelijkingen te schrijven:
waarbij π₯1, π₯2, …, π₯π de ingangssignalen zijn; π€π1 , π€π2 , …, π€ππ de respectieve synaptische gewichten van neuron π zijn; π’π (niet weergegeven in bovenstaande fig.) is de lineaire combiner output als gevolg van de ingangssignalen; ππ is de bias; π(-) is de activeringsfunctie; en π¦π is het uitgangssignaal van het neuron. Het gebruik van bias ππ heeft tot gevolg dat een affiene transformatie wordt toegepast op de output π’π van de lineaire combiner in het model, zoals blijkt uit.
(meer info. over affiene Transformatie hier)
Waar π£π wordt genoemd geΓ―nduceerd lokaal veld, of activeringspotentiaal
Zo, Equivalent, kunnen we de combinatie van bovenstaande Eqs.formuleren
In bovenstaande Eq. hebben we een nieuwe synaps toegevoegd. Zijn ingang is:
We kunnen het model van neuron π daarom herformuleren zoals getoond in fig.6 In deze figuur wordt het effect van de bias in rekening gebracht door twee dingen te doen: (1) het toevoegen van een nieuw ingangssignaal dat vastligt op +1, en (2) het toevoegen van een nieuw synaptisch gewicht dat gelijk is aan de bias ππ . Hoewel de modellen van Fig. 5 en 6 er verschillend uitzien, zijn ze wiskundig equivalent.
Hoop dat je genoten hebt van neurale netwerken en wacht op meer hun gebruik in deep learning.