Redes neuronales (Parte 1)

Ahmed Imam
Ahmed Imam

Sigue

16 de junio, 2020 – 6 min read

Redes Neuronales Feed-Forward (FFNN)

En su forma más general, una red neuronal es una máquina que está diseñada para modelar la forma en que el cerebro realiza una tarea o función particular de interés; la red suele implementarse utilizando componentes electrónicos o se simula en software en un ordenador digital.

Para lograr un buen rendimiento, las redes neuronales emplean una interconexión masiva de células de computación simples denominadas "neurons", perceptrons o «unidades de procesamiento».

Podemos, pues, ofrecer la siguiente definición de red neuronal:

Una red neuronal es un procesador distribuido masivamente paralelo formado por unidades de procesamiento simples que tiene una propensión natural a almacenar el conocimiento experiencial y ponerlo a disposición para su uso. Se asemeja al cerebro en dos aspectos:

  1. El conocimiento lo adquiere la red de su entorno a través de un proceso de aprendizaje.
  2. Las fuerzas de interconexión de las neuronas, conocidas como pesos sinápticos, se utilizan para almacenar el conocimiento adquirido.

Al igual que en el cerebro humano, los receptores convierten los estímulos del cuerpo humano o del entorno externo en impulsos eléctricos que transmiten información a la red neuronal (cerebro). Los efectores convierten los impulsos eléctricos generados por la red neuronal en respuestas discernibles como salidas del sistema.

Red neuronal de avance (FFNN)

Fig.1 Red neuronal Feed-Forward (FFNN)

Modelos de neurona

Una neuronunidad de procesamiento de información que es fundamental para el funcionamiento de una red neuronal.

Aquí identificamos tres elementos básicos del modelo neuronal:

  1. Un conjunto de sinapsis (terminaciones nerviosas), o enlaces de conexión, cada uno de los cuales se caracteriza por un 𝑤𝑒𝑖𝑔ℎ𝑡 o 𝑠𝑡𝑒𝑛𝑔𝑡ℎ propio. En concreto, una señal 𝑥𝑗 a la entrada de la sinapsis 𝑗 conectada a la neurona 𝑘 se multiplica por el peso sináptico 𝑤𝑘𝑗. Es importante tener en cuenta la forma en que se escriben los subíndices del peso sináptico 𝑤𝑘𝑗. El primer subíndice de 𝑤𝑘𝑗 se refiere a la neurona en cuestión, y el segundo subíndice se refiere al extremo de entrada de la sinapsis al que se refiere el peso.**
  2. Un sumador para sumar las señales de entrada, ponderadas por las respectivas fuerzas sinápticas de la neurona; las operaciones aquí descritas constituyen un linear combiner.
  3. Una función de activación para limitar la amplitud de la salida de una neurona.La función de activación también se denomina función de aplastamiento, en el sentido de que aplasta (limita) el rango de amplitud permisible de la señal de salida a algún valor finito. Normalmente, el rango de amplitud normalizado de la salida de una neurona se escribe como el intervalo unitario cerrado , o, alternativamente, .

Neurona de capa oculta

Fig.2 Neurona de capa oculta

En términos matemáticos, podemos describir la neurona -𝑗 representada en la Fig.2 escribiendo el par de ecuaciones:

donde 𝑥1, 𝑥2, …, 𝑥𝑚 son las señales de entrada; 𝑤𝑗1 , 𝑤𝑗2 , …, 𝑤𝑗𝑚 son los respectivos pesos sinápticos de la neurona 𝑗; la red ℎ𝑗 es la salida del combinador lineal debido a las señales de entrada; 𝑓(⋅) es la función de activación; y 𝐼𝑗 es la señal de salida de la neurona.

Neurona de la capa de salida

Fig.3 Neurona de la capa de salida

En términos matemáticos, podemos describir la neurona 𝑘 representada en la Fig.3 escribiendo el par de ecuaciones:

Expresar la red neuronal oculta:

Los pesos sinápticos de la Red Neural Oculta pueden expresarse como:

La Red Neural Oculta completa puede expresarse como:

La Red Neural de Salida Expresa:

Los pesos sinápticos de la Red Neural Oculta pueden expresarse como:

La Red Neuronal Oculta completa puede expresarse como:

Ejemplo_1.

Dado el siguiente NN con pesos:

Fig.4 Ejemplo_1

Entradas:

Se utiliza la siguiente función de activación:

Solución:

Primer par

Segundo par

3ª pareja

4ª pareja

Resultado final:

La salida de es

Esto significa que nuestra red neuronal actúa como su XORpuerta lógica.

Función de activación

La función de activación puede tomar varias formas según el problema sea de regresión o de clasificación. Aquí hay algunos ejemplos de funciones de activación.

Sigmoide y tanh se utilizan para la clasificación binaria mientras que softmax se utiliza para los problemas de clasificación múltiple.

ReLU y Leaky ReLU se utilizan para problemas de regresión. La activación Maxout es una generalización de las funciones ReLU y Leaky ReLU.

Aplicación del sesgo a las redes neuronales.

El modelo neuronal de la Fig.5 incluye un sesgo aplicado externamente, denotado por 𝑏𝑘 . El sesgo (𝑏𝑘) tiene el efecto de aumentar o disminuir la entrada neta de la función de activación, según sea positiva o negativa, respectivamente.

Fig.5 Modelo no lineal
de una neurona, etiquetada como k.

En términos matemáticos, podemos describir la neurona 𝑘 escribiendo el par de ecuaciones:

donde 𝑥1, 𝑥2, …, 𝑥𝑚 son las señales de entrada; 𝑤𝑘1 , 𝑤𝑘2 , …, 𝑤𝑘𝑚 son los respectivos pesos sinápticos de la neurona 𝑘; 𝑢𝑘 (no se muestra en la anterior Fig.) es la salida del combinador lineal debido a las señales de entrada; 𝑏𝑘 es el sesgo; 𝜑(-) es la función de activación; y 𝑦𝑘 es la señal de salida de la neurona. El uso del sesgo 𝑏𝑘 tiene el efecto de aplicar una transformación afín a la salida 𝑢𝑘 del combinador lineal en el modelo, como se muestra.

(más info. sobre la transformación afín aquí)

Donde 𝑣𝑘 se llama campo local inducido, o potencial de activación

Así que, de forma equivalente, podemos formular la combinación de las Ecs. anteriores.

En la Ec. anterior hemos añadido una nueva sinapsis. Su entrada es:

Por lo tanto, podemos reformular el modelo de la neurona 𝑘 como se muestra en la Fig.6 En esta figura, el efecto del sesgo se tiene en cuenta haciendo dos cosas: (1) añadir una nueva señal de entrada fijada en +1, y (2) añadir un nuevo peso sináptico igual al sesgo 𝑏𝑘 . Aunque los modelos de las Figs. 5 y 6 son diferentes en apariencia, son matemáticamente equivalentes.

Fig.6 Una versión modificada del modelo de neurona con sesgo

Espero que hayas disfrutado con las redes neuronales y esperes más su uso en el aprendizaje profundo.

Leave a Reply

Deja una respuesta

Tu dirección de correo electrónico no será publicada.