Neurale Netwerken (Deel 1)

Ahmed Imam
Ahmed Imam

Follow

16 jun, 2020 – 6 min read

Feed-Forward Neural Networks (FFNN)

In zijn meest algemene vorm is een neuraal netwerk een machine die is ontworpen om model te staan voor de manier waarop de hersenen een bepaalde taak of functie van belang uitvoeren; het netwerk wordt gewoonlijk geΓ―mplementeerd met behulp van elektronische componenten of wordt gesimuleerd in software op een digitale computer.

Om goede prestaties te bereiken, maken neurale netwerken gebruik van een massale onderlinge verbinding van eenvoudige rekencellen, aangeduid als "neurons", perceptrons of “verwerkingseenheden”.

We kunnen dus de volgende definitie van een neuraal netwerk geven:

Een neuraal netwerk is een massaal parallelle gedistribueerde processor die bestaat uit eenvoudige verwerkingseenheden die een natuurlijke neiging heeft om ervaringskennis op te slaan en voor gebruik beschikbaar te stellen. Het lijkt in twee opzichten op de hersenen:

  1. Kennis wordt door het netwerk uit zijn omgeving verworven door middel van een leerproces.
  2. Neurons onderlinge verbindingssterkten, bekend als synaptische gewichten, worden gebruikt om de verworven kennis op te slaan.

Net als in de menselijke hersenen zetten de receptoren prikkels van het menselijk lichaam of de externe omgeving om in elektrische impulsen die informatie overbrengen naar het neurale netwerk (hersenen). De effectoren zetten de door het neurale net gegenereerde elektrische impulsen om in waarneembare reacties als systeemoutputs.

Feed-Forward Neural Network (FFNN)

Fig.1 Feed-Forward Neural Network (FFNN)

Modellen van neuronen

Een neuron is een informatieverwerkende eenheid die van fundamenteel belang is voor de werking van een neuraal netwerk.

Hierbij identificeren we drie basiselementen van het neurale model:

  1. Een reeks synapsen (zenuwuiteinden), of verbindende schakels, die elk gekenmerkt worden door een eigen π‘€π‘’π‘–π‘”β„Žπ‘‘ of π‘ π‘‘π‘Ÿπ‘’π‘›π‘”π‘‘β„Ž. Specifiek wordt een signaal π‘₯𝑗 aan de ingang van synaps 𝑗 verbonden met neuron π‘˜ vermenigvuldigd met het synaptische gewicht π‘€π‘˜π‘—. Het is belangrijk om nota te nemen van de manier waarop de subscripts van het synaptische gewicht π‘€π‘˜π‘— worden geschreven. Het eerste subscript in π‘€π‘˜π‘— verwijst naar het neuron in kwestie, en het tweede subscript verwijst naar het ingangsuiteinde van de synaps waarnaar het gewicht verwijst.**
  2. Een opteller voor het optellen van de ingangssignalen, gewogen met de respectieve synaptische sterktes van het neuron; de hier beschreven bewerkingen vormen een linear combiner.
  3. Een activeringsfunctie voor het beperken van de amplitude van de output van een neuron.De activeringsfunctie wordt ook wel een squashing-functie genoemd, in die zin dat zij het toelaatbare amplitudebereik van het outputsignaal tot een eindige waarde squasht (beperkt). Gewoonlijk wordt het genormaliseerde amplitudebereik van de output van een neuron geschreven als het gesloten eenheidsinterval , of, als alternatief, .

Hidden-Laag Neuron

Fig.2 Verborgen-laag-neuron

In wiskundige termen kunnen we het neuron -𝑗 dat is afgebeeld in Fig.2 door het volgende paar vergelijkingen te schrijven:

waar π‘₯1, π‘₯2, …, π‘₯π‘š de ingangssignalen zijn; 𝑀𝑗1 , 𝑀𝑗2 , …, π‘€π‘—π‘š zijn de respectieve synaptische gewichten van neuron 𝑗; net β„Žπ‘— is de lineaire combiner uitgang als gevolg van de ingangssignalen; 𝑓(β‹…) is de activeringsfunctie; en 𝐼𝑗 is het uitgangssignaal van het neuron.

Uitgangslaagneuron

Fig.3 Neuron van de uitvoerende laag

In wiskundige termen kunnen we het neuron π‘˜, afgebeeld in Fig.3 door de volgende twee vergelijkingen te schrijven:

Uitdruk Verborgen Neuraal-Netwerk:

Het Verborgen Neuraal Netwerk Synaptische Gewichten kan worden uitgedrukt als:

Het gehele Verborgen Neuraal Netwerk kan worden uitgedrukt als:

Express Output Neural-Network:

Het Verborgen Neurale Netwerk Synaptische-gewichten kan worden uitgedrukt als:

Het gehele Verborgen Neuraal Netwerk kan worden uitgedrukt als:

Exemplaar_1.

Gegeven de volgende NN met gewichten:

Fig.4 Voorbeeld_1

Inputs:

De volgende activeringsfunctie wordt gebruikt:

Oplossing:

Eerste paar

2e paar

3e paar

4e paar

Eindresultaat:

Uitgang van is

Dit betekent dat ons neuraal netwerk fungeert als zijn XOR logic-gate.

Activeringsfunctie

Activeringsfunctie kan verschillende vormen aannemen afhankelijk van het probleem is het regressie of classificatie. Hier volgen enkele voorbeelden van activeringsfuncties.

SigmoΓ―de en tanh worden gebruikt voor binaire classificatie, terwijl softmax wordt gebruikt voor multi-classificatieproblemen.

ReLU en Leaky ReLU worden gebruikt voor regressieproblemen. De Maxout-activering is een veralgemening van de ReLU- en de lekkende ReLU-functies.

Toepassing van bias op neurale netwerken.

Het neurale model in Fig.5 bevat een extern toegepaste bias, aangeduid met π‘π‘˜ . De bias (π‘π‘˜) heeft tot gevolg dat de netto-input van de activeringsfunctie wordt verhoogd of verlaagd, afhankelijk van het feit of deze positief of negatief is.

Fig.5 Niet-lineair model
van een neuron, met het label k.

In wiskundige termen kunnen we het neuron π‘˜ beschrijven door het paar vergelijkingen te schrijven:

waarbij π‘₯1, π‘₯2, …, π‘₯π‘š de ingangssignalen zijn; π‘€π‘˜1 , π‘€π‘˜2 , …, π‘€π‘˜π‘š de respectieve synaptische gewichten van neuron π‘˜ zijn; π‘’π‘˜ (niet weergegeven in bovenstaande fig.) is de lineaire combiner output als gevolg van de ingangssignalen; π‘π‘˜ is de bias; πœ‘(-) is de activeringsfunctie; en π‘¦π‘˜ is het uitgangssignaal van het neuron. Het gebruik van bias π‘π‘˜ heeft tot gevolg dat een affiene transformatie wordt toegepast op de output π‘’π‘˜ van de lineaire combiner in het model, zoals blijkt uit.

(meer info. over affiene Transformatie hier)

Waar π‘£π‘˜ wordt genoemd geΓ―nduceerd lokaal veld, of activeringspotentiaal

Zo, Equivalent, kunnen we de combinatie van bovenstaande Eqs.formuleren

In bovenstaande Eq. hebben we een nieuwe synaps toegevoegd. Zijn ingang is:

We kunnen het model van neuron π‘˜ daarom herformuleren zoals getoond in fig.6 In deze figuur wordt het effect van de bias in rekening gebracht door twee dingen te doen: (1) het toevoegen van een nieuw ingangssignaal dat vastligt op +1, en (2) het toevoegen van een nieuw synaptisch gewicht dat gelijk is aan de bias π‘π‘˜ . Hoewel de modellen van Fig. 5 en 6 er verschillend uitzien, zijn ze wiskundig equivalent.

Fig.6 Een aangepaste versie van neuron model met bias

Hoop dat je genoten hebt van neurale netwerken en wacht op meer hun gebruik in deep learning.

Leave a Reply

Geef een antwoord

Het e-mailadres wordt niet gepubliceerd.