Neurální sítě (1. část)

Ahmed Imam
Ahmed Imam

Sledovat

16. června, 2020 – 6 minut čtení

Neuronové sítě typu „feed-forward“ (FFNN)

V nejobecnější podobě je neuronová síť stroj, který je navržen tak, aby modeloval způsob, jakým mozek vykonává určitý úkol nebo funkci, která ho zajímá; síť je obvykle realizována pomocí elektronických součástek nebo je simulována softwarově na digitálním počítači.

Pro dosažení dobrého výkonu využívají neuronové sítě masivní propojení jednoduchých výpočetních buněk označovaných jako "neurons", perceptrons nebo „výpočetní jednotky“.

Můžeme tedy nabídnout následující definici neuronové sítě:

Neuronová síť je masivně paralelní distribuovaný procesor složený z jednoduchých výpočetních jednotek, který má přirozený sklon ukládat zkušenostní znalosti a dávat je k dispozici pro použití. Mozku se podobá ve dvou ohledech:

  1. Znalosti získává síť z prostředí prostřednictvím procesu učení.
  2. K ukládání získaných znalostí slouží síla propojení neuronů, známá jako synaptické váhy.

Podobně jako v lidském mozku převádějí receptory podněty z lidského těla nebo vnějšího prostředí na elektrické impulsy, které předávají informace neuronové síti (mozku). Efektory převádějí elektrické impulsy generované neuronovou sítí na rozeznatelné odpovědi jako výstupy systému.

Feed-Forward Neural Network (FFNN)

Obr.1. Neuronová síť s dopředným posuvem (FFNN)

Modely neuronů

A neuron je jednotka zpracovávající informace, která je základem fungování neuronové sítě.

Zde identifikujeme tři základní prvky neuronového modelu:

  1. Soubor synapsí (nervových zakončení) neboli spojovacích článků, z nichž každý je charakterizován vlastním 𝑤𝑒𝑖𝑔ℎ𝑡 nebo 𝑠𝑡𝑟𝑒𝑛𝑔𝑡ℎ . Konkrétně se signál 𝑥𝑗 na vstupu synapse 𝑗 připojené k neuronu 𝑘 násobí synaptickou váhou 𝑤𝑘𝑗. Je důležité si všimnout způsobu zápisu indexů synaptické váhy 𝑤𝑘𝑗. První index ve slově 𝑤𝑘𝑗 odkazuje na příslušný neuron a druhý index odkazuje na vstupní konec synapse, k němuž se váha vztahuje.**
  2. Součetka pro sčítání vstupních signálů vážených příslušnými synaptickými silami neuronu; operace zde popsané představují linear combiner.
  3. Aktivační funkce pro omezení amplitudy výstupu neuronu; aktivační funkce se také označuje jako funkce zmačkávací v tom smyslu, že zmačkává (omezuje) přípustný rozsah amplitudy výstupního signálu na určitou konečnou hodnotu. Obvykle se normalizovaný rozsah amplitudy výstupu neuronu zapisuje jako uzavřený jednotkový interval , případně .

Neuron skryté vrstvy

Obr.2 Neuron skryté vrstvy

Matematickými termíny můžeme popsat neuron -𝑗 zobrazený na obr.2. zapsáním dvojice rovnic:

kde 𝑥1, 𝑥2, …, 𝑥𝑚 jsou vstupní signály; 𝑤𝑗1 , 𝑤𝑗2 , …., 𝑤𝑗𝑚 jsou příslušné synaptické váhy neuronu 𝑗; síť ℎ𝑗 je výstup lineárního kombinátoru vzhledem ke vstupním signálům; 𝑓(⋅) je aktivační funkce a 𝐼𝑗 je výstupní signál neuronu.

Neuron výstupní vrstvy

Obr.3 Neuron výstupní vrstvy

Matematickými termíny můžeme popsat neuron 𝑘 zobrazený na obr. 3. zápisem dvojice rovnic:

Vyjádřete skrytou neuronovou síť:

Skrytou neuronovou síť Synaptic-weights lze vyjádřit jako:

Celou skrytou neuronovou síť lze vyjádřit jako:

Výstupní neuronová síť:

Skrytou neuronovou síť Synaptické váhy lze vyjádřit jako:

Celou skrytou neuronovou síť lze vyjádřit jako:

Příklad_1.

Dáno následující NN s váhami:

Obr.4. Příklad_1

Vstupy:

Používá se následující aktivační funkce:

Řešení:

První pár

Druhý pár

.

3. pár

4. pár

Konečný výsledek:

Výstup je

To znamená, že naše neuronová síť funguje jako její XOR logická brána.

Aktivační funkce

Aktivační funkce může mít několik podob podle problému, zda jde o regresi, nebo klasifikaci. Zde je několik příkladů aktivačních funkcí:

Sigmoid a tanh se používají pro binární klasifikaci, zatímco softmax se používá pro problémy s více klasifikacemi.

ReLU a Leaky ReLU se používají pro problémy regrese. Aktivace Maxout je zobecněním funkcí ReLU a děravé ReLU.

Použití zkreslení v neuronových sítích.

Neuronový model na obr. 5. obsahuje externě aplikované zkreslení, označené 𝑏𝑘 . Zkreslení (𝑏𝑘) má za následek zvýšení nebo snížení čistého vstupu aktivační funkce v závislosti na tom, zda je kladné nebo záporné.

Obr.5. Nelineární model
neuronu, označeného k.

Matematicky můžeme neuron 𝑘 popsat zápisem dvojice rovnic:

kde 𝑥1, 𝑥2, …, 𝑥𝑚 jsou vstupní signály; 𝑤𝑘1 , 𝑤𝑘2 , …, 𝑤𝑘𝑚 jsou příslušné synaptické váhy neuronu 𝑘; 𝑢𝑘 (není uvedeno na výše uvedeném obr.) je výstup lineárního kombinátoru vzhledem ke vstupním signálům; 𝑏𝑘 je zkreslení; 𝜑(-) je aktivační funkce a 𝑦𝑘 je výstupní signál neuronu. Použití zkreslení 𝑏𝑘 má za následek použití afinní transformace na výstup 𝑢𝑘 lineárního slučovače v modelu, jak ukazuje

(více informací. o afinní transformaci zde)

Kde 𝑣𝑘 se nazývá indukované lokální pole neboli aktivační potenciál

Takže ekvivalentně můžeme formulovat kombinaci výše uvedených rovnic.

Ve výše uvedené rovnici jsme přidali novou synapsi. Její vstup je:

Můžeme tedy přeformulovat model neuronu 𝑘 podle obr. 6. Na tomto obrázku je vliv zkreslení zohledněn dvěma způsoby: (1) přidáním nového vstupního signálu s pevnou hodnotou +1 a (2) přidáním nové synaptické váhy rovné zkreslení 𝑏𝑘 . Přestože se modely na obr. 5 a 6 vzhledově liší, jsou matematicky ekvivalentní.

Obr. 6 Upravená verze modelu neuronu se zkreslením

Snad se vám s neuronovými sítěmi líbilo a počkejte si na jejich další využití v hlubokém učení.

.

Leave a Reply

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna.