Una de las claves del éxito del Deep Learning ha sido la capacidad de las redes neuronales con muchas capas de extraer representaciones distribuidas de los datos y de esa forma facilitar el proceso de entrenamiento y aprendizaje.
Estas representaciones distribuidas permiten captar la estructura estadística y los factores que explican la variación de los datos, abstraer la información importante de éstos y aumentar la eficiencia del proceso de entrenamiento.
Pero, ¿Qué son las representaciones distribuidas? ¿Qué las diferencia de las locales?
Imaginemos una red neuronal para clasificar imágenes en tipos de animales (gatos, perros, etc.). Cada capa de la red representa características para un cierto nivel de abstracción y este nivel de abstracción va creciendo conforme nos acercamos a la capa de salida. Las características que se representan en cada capa son aspectos de las imágenes como presencia de contornos, colores, presencia de cola, etc.
En una representación distribuida, en cada capa una característica se representa con más de una neurona y una neurona representa más de una característica. Por ejemplo, una oreja se podría representar con una forma de aspecto triangular y vertical y una pata con un rectángulo vertical. En este ejemplo cada característica se representa con dos neuronas y además la neurona correspondiente a “vertical” representa a las dos características.
Además, cuando se tienen redes neuronales profundas, las características de cada capa se forman basándose en las características de las capas inferiores formando así una composición jerárquica de representaciones distribuidas.
En cambio, en las representaciones locales cada característica se representa con una única neurona de la capa, necesitando neuronas diferentes para cada característica. De esta forma no se capturan las relaciones entre características y la estructura de los datos y además se necesitan exponencialmente más neuronas que en las representaciones distribuidas.
En una capa de tres neuronas, usando mapeos locales se representarían tres características y usando distribuidos se representarían hasta ocho características.
Por lo tanto, como hemos visto, la capacidad de las representaciones distribuidas para capturar la similitud entre características y su composición mejoran el proceso de aprendizaje automático.
