El modelo de red neuronal bioinspirado puede almacenar muchos más recuerdos

Los investigadores han desarrollado un nuevo modelo inspirado en hallazgos biológicos recientes que muestra un mejor rendimiento de la memoria. Esto se logró modificando una red neuronal clásica.

Los modelos informáticos juegan un papel crucial en el estudio del proceso del cerebro de crear y retener recuerdos y otra información compleja. Sin embargo, construir tales modelos es una tarea delicada. La compleja interacción de señales eléctricas y bioquímicas, así como la red de conexiones entre neuronas y otros tipos de células, crea la infraestructura necesaria para la formación de recuerdos. A pesar de esto, la codificación de la compleja biología del cerebro en un modelo informático para su posterior estudio ha demostrado ser una tarea difícil debido a la comprensión limitada de la biología subyacente del cerebro.

Investigadores del Instituto de Ciencia y Tecnología de Okinawa (OIST, por sus siglas en inglés) han realizado mejoras en un modelo informático de memoria ampliamente utilizado, conocido como la red de Hopfield, mediante la incorporación de información de la biología. La alteración dio como resultado una red que no solo refleja mejor cómo se conectan las neuronas y otras células en el cerebro, sino que también tiene la capacidad de almacenar muchos más recuerdos.

La complejidad añadida a la red es lo que la hace más realista, dice Thomas Burns, quien tiene un doctorado. estudiante en el grupo del profesor Tomoki Fukai, quien dirige la unidad de codificación neuronal y computación cerebral en OIST.

“¿Por qué la biología debería tener toda esta complejidad? La capacidad de la memoria podría ser una razón”, dice Burns.

En la clásica red de Hopfield (izquierda), cada neurona (I, j, k, l) está conectada a las demás por pares. En la red modificada creada por el Sr. Burns y el profesor Fukai, conjuntos de tres o más neuronas pueden conectarse simultáneamente. Crédito: Thomas Burns (OIST)

Las redes de Hopfield almacenan recuerdos como patrones de conexiones ponderadas entre diferentes neuronas en el sistema. La red está “entrenada” para codificar estos patrones, luego los investigadores pueden probar su memoria presentando una serie de patrones borrosos o incompletos y viendo si la red puede reconocerlos como ya conocidos. Sin embargo, en las redes de Hopfield clásicas, las neuronas del modelo se conectan recíprocamente con otras neuronas de la red para formar una serie de las llamadas conexiones “por pares”.

Las conexiones por pares representan cómo dos neuronas se conectan a una[{” attribute=””>synapse, a connection point between two neurons in the brain. But in reality, neurons have intricate branched structures called dendrites that provide multiple points for connection, so the brain relies on a much more complex arrangement of synapses to get its cognitive jobs done. Additionally, connections between neurons are modulated by other cell types called astrocytes.

“It’s simply not realistic that only pairwise connections between neurons exist in the brain,” explains Mr. Burns. He created a modified Hopfield network in which not just pairs of neurons but sets of three, four, or more neurons could link up too, such as might occur in the brain through astrocytes and dendritic trees.

Although the new network allowed these so-called “set-wise” connections, overall it contained the same total number of connections as before. The researchers found that a network containing a mix of both pairwise and set-wise connections performed best and retained the highest number of memories. They estimate it works more than doubly as well as a traditional Hopfield network. “It turns out you actually need a combination of features in some balance,” says Mr. Burns. “You should have individual synapses, but you should also have some dendritic trees and some astrocytes.”

Hopfield networks are important for modeling brain processes, but they have powerful other uses too. For example, very similar types of networks called Transformers underlie AI-based language tools such as ChatGPT, so the improvements Mr. Burns and Professor Fukai have identified may also make such tools more robust.

Mr. Burns and his colleagues plan to continue working with their modified Hopfield networks to make them still more powerful. For example, in the brain the strengths of connections between neurons are not normally the same in both directions, so Mr. Burns wonders if this feature of asymmetry might also improve the network’s performance. Additionally, he would like to explore ways of making the network’s memories interact with each other, the way they do in the human brain. “Our memories are multifaceted and vast,” says Mr. Burns. “We still have a lot to uncover.”

Reference: “Simplicial Hopfield networks” by Thomas F Burns and Tomoki Fukai, 1 February 2023, International Conference on Learning Representations.