Feed-Forward Neural Networks (FFNN)
Na sua forma mais geral, uma rede neural é uma máquina concebida para modelar a forma como o cérebro executa uma determinada tarefa ou função de interesse; a rede é normalmente implementada usando componentes eletrônicos ou é simulada em um software em um computador digital.
Para obter um bom desempenho, as redes neurais empregam uma interconexão maciça de células computacionais simples, referidas como "neurons", perceptrons ou “unidades de processamento”.
Assim, podemos oferecer a seguinte definição de rede neural:
Uma rede neural é um processador distribuído massivamente paralelo, composto de unidades de processamento simples, que tem uma propensão natural para armazenar o conhecimento experiencial e torná-lo disponível para uso. Ela se assemelha ao cérebro em dois aspectos:
- O conhecimento é adquirido pela rede a partir de seu ambiente através de um processo de aprendizagem.
- Forças de interconexão dos neurônios, conhecidas como pesos sinápticos, são usadas para armazenar o conhecimento adquirido.
Como no cérebro humano, os receptores convertem estímulos do corpo humano ou do ambiente externo em impulsos elétricos que transmitem informações para a rede neural (cérebro). Os efetores convertem os impulsos elétricos gerados pela rede neural em respostas discerníveis como saídas do sistema.
Feed-Forward Neural Network (FFNN)
Modelos de Neurônio
A neuron é uma unidade de processamento de informação fundamental para o funcionamento de uma rede neural.
Aqui, nós identificamos três elementos básicos do modelo neural:
- Um conjunto de sinapses (terminações nervosas), ou links de ligação, cada um dos quais é caracterizado por um 𝑤𝑒𝑖𝑔ℎ𝑡 ou 𝑠𝑡𝑟𝑒𝑛𝑔𝑡ℎ próprio. Especificamente, um sinal 𝑥𝑗 na entrada da sinapse 𝑗 conectado ao neurônio 𝑘 é multiplicado pelo peso sináptico 𝑤𝑘𝑗. É importante anotar a forma como os subscritos do peso sináptico 𝑤𝑘𝑗 são escritos. O primeiro subscrito em 𝑤𝑘𝑗 refere-se ao neurônio em questão, e o segundo subscrito refere-se ao fim de entrada da sinapse ao qual o peso se refere.**
- Um somatório dos sinais de entrada, ponderado pelas respectivas forças sinápticas do neurônio; as operações aqui descritas constituem um
linear combiner. - Uma função de ativação para limitar a amplitude da saída de um neurônio. A função de ativação também é referida como uma função de esmagamento, na medida em que esmaga (limita) a amplitude permitida do sinal de saída a algum valor finito. Tipicamente, a amplitude normalizada da saída de um neurônio é escrita como o intervalo de unidade fechada, ou, alternativamente, .
Neurônio de camada oculta
Em termos matemáticos, podemos descrever o neurônio -𝑗 representado na Fig.2 ao escrevermos o par de equações:
>
>onde 𝑥1, 𝑥2, …, 𝑥𝑚 são os sinais de entrada; 𝑤𝑗1 , 𝑤𝑗2 , …A rede 𝑤𝑗𝑚 é o respectivo peso sináptico do neurônio 𝑗; a rede ℎ𝑗 é a saída do combinador linear devido aos sinais de entrada; 𝑓(⋅) é a função de ativação; e 𝐼𝑗 é o sinal de saída do neurônio.
Néuron da camada de saída
Em termos matemáticos, podemos descrever o neurônio 𝑘 representado na Fig.3 escrevendo o par de equações:
Expressar Rede Neural Escondida:
Rede Neural Escondida Os pesos sinápticos podem ser expressos como:
Toda a Rede Neural Escondida pode ser expressa como:
Expressar Rede Neural de Saída:
Rede Neural Escondida Os pesos sinápticos da Rede Neural podem ser expressos como::
Toda a Rede Neural Escondida pode ser expressa como:
Exemplo_1.
Dado o seguinte NN com pesos:
Entradas:
>
É utilizada a seguinte função de ativação:
Solução:
Primeiro par
2° par
>>
3º par
4º par
>
Resultado Final:
Saída de é
Isto significa que a nossa rede neural actua como é XOR porta lógica.
Função de ativação
Função de ativação pode assumir várias formas de acordo com o problema é a regressão ou classificação. Aqui estão alguns exemplos de funções de ativação.
Sigmoid e tanh são usados para classificação binária enquanto softmax é usado para problemas de multi-classificação.
ReLU e Leaky ReLU são usados para problemas de regressão. A ativação do Maxout é uma generalização das funções ReLU e do ReLU com vazamento.
Aplicação de Bias a Redes Neurais.
O modelo neural na Fig.5 inclui um viés aplicado externamente, denotado por 𝑏𝑘 . O viés (𝑏𝑘) tem o efeito de aumentar ou diminuir a entrada líquida da função de ativação, dependendo se ela é positiva ou negativa, respectivamente.
de um neurônio, rotulado k.
Em termos matemáticos, podemos descrever o neurônio 𝑘 escrevendo o par de equações:
Onde 𝑥1, 𝑥2, …, 𝑥𝑚 são os sinais de entrada; 𝑤𝑘1 , 𝑤𝑘2 , …, 𝑤𝑘𝑚 são os respectivos pesos sinápticos do neurónio 𝑘; 𝑢𝑘 (não mostrado na figura acima).) é a saída do combinador linear devido aos sinais de entrada; 𝑏𝑘 é o viés; 𝜑(-) é a função de ativação; e 𝑦𝑘 é o sinal de saída do neurônio. O uso do viés 𝑏𝑘 tem o efeito de aplicar uma transformação afim à saída 𝑢𝑘 do combinador linear no modelo como mostrado por.
(mais informações. sobre affine Transformation aqui)
Onde 𝑣𝑘 é chamado de campo local induzido, ou potencial de ativação
Então, Equivalentemente, podemos formular a combinação de Eqs.
Em Eqs acima, adicionamos uma nova sinapse. Sua entrada é:
>
Podemos, portanto, reformular o modelo de neurônio 𝑘 como mostrado na Fig.6 Nesta figura, o efeito do viés é contabilizado fazendo duas coisas: (1) adicionar um novo sinal de entrada fixado em +1, e (2) adicionar um novo peso sináptico igual ao viés 𝑏𝑘 . Embora os modelos das Figs. 5 e 6 sejam diferentes na aparência, eles são matematicamente equivalentes.
Espera que você desfrutou com as redes neurais e espera por mais seu uso no aprendizado profundo.