Parte VI

Hopfield y memoria asosiativa

Una de las mayores contribuciones al área de las redes neuronales fue realizada en los años 1980 por John Hopfield, quien estudió modelos aoutoasociativos que presentaban algunas similaridades con los perceptrones, pero incluía también grandes diferencias.

El concepto de memoria asociativa es bastante intuitivo: se trata simplemente de asociar dos patrones. Dentro de este concepto definiremos diferentes tipos de memorias asociativas:

• Memoria heteroasociativa: Establece una correspondencia F entre dos vectores X,Y de tal manera que F(xi)=yi, y si un x arbitrario está más próximo a xi que a cualquier otro xj, entonces F(x)=yi. En esta definición, el estar más próximo quiere decir con respecto a la Distancia De Hamming. 

• Memoria asociativa interpoladora: Establece una correspondencia F entre X e Y de tal manera que F(x)=yi, pero si el vector de entrada difiere de uno de los ejemplares en el vector d, de tal modo que x=xi+d, entonces la salida será yi+d. 

• Memoria autoasociativa: Supóngase que Y=X, y apliquemos lo que se dijo en la primera definción.

Modelo de Hopfield: la estructura de red neuronal que propone viene ha ser una memoria autoasociativa, de una sóla capa, totalmente conectada y recurrente.

CARACTERÍSTICAS:

• Es una estructura en donde la matriz de pesos es cuadrada y simétrica. Es decir los pesos de un Punto de Equilibrio a otro tiene el mismo valor en ambas direcciones. Cada PE está conectado con todos los demás, incluso con si mismo pero el valor de dicha conexión es 0, significando que el PE no se realimenta a si mismo.
• La función de tranferencia de cada PE, que normalmente se suele utilizar, es una hardlimiter y los PE calculan la suma de los pesos por las entradas menos un cierto umbral, pasando a través de la función de transferencia, produciendo así su estado de salida.
• Las entradas son 2 estados: binarias (0,1) o bipolar (-1,1).

FUNCIONAMIENTO:

• Las entradas son aplicadas a la red, ésta a través de un ciclo produce una succesión de estados, hasta que converge a una solución estable, la cual ocurre cuando las salidas de los diferentes PES no cambian.
• Entonces la salida que produce la red es la combinación de todas las salidas de los PEs, cuando éstos se encuentran estables.
  • Una manera simple de visualizar el sistema es considerar que, ya que todos los PEs están conectados entre sí, el PE que se encuentra activado afecta a todos los demás. El estado inicial, representa un conjunto de valores diferentes, cada uno tratando de afectar a los demás.
  • Esto, comunmente es inestable, como la red se mueve a través de diferentes estados, al final se obtendrá el mejor compromiso, que la red puede encontrar. En este estado existen muchas entradas que tratan de activar un PE y existen otras que tratan de desactivarlo, eso al final significa un estado estable.

IDEA GENERAL:

• La operación de la red es totalmente diferente al sistema de perceptrón. En el modelo de Hopfield, la primera salida es tomada como entrada en el ciclo siguiente, produciendo una nueva salida.
• Por tanto el aprendizaje es también diferente; en este sistema no se trata de ajustar pesos ya que éstos se mantienen constantes desde el principio, se trata de encontrar dichos pesos, en función del problema.
• De tal manera que el conjunto total del sistema puede venir representado por una función denominada Función de Energía.

Conclusión

• La Red de Hopfield es un sistema dinámico cuyos puntos de equilibrio representan los patrones que deseamos almacenar.
• La estabilidad de la Red está relacionada con la simetría de la matriz de pesos W.
• El objetivo de diseño de una Red de Hopfield es encontrar una matriz de pesos W y un vector de excitación v, tales que:
  • Los mínimos de la función de energía estén en los patrones a almacenar.
  • La región de atracción de los puntos estables incluya todos los puntos más cercanos al patrón deseado.
• Puede funcionar como memoria asociativa o puede resolver problemas combinatoriales
• Sus limitaciones son su limitada capacidad de almacenamiento y la presencia de un elevado número de memorias falsas.
• Variantes; Red de Hopfield estocástica, Maxnet.