El potencial del aprendizaje no supervisado de representaciones

En los últimos años, gracias en parte al incremento de las capacidades de computación, hemos visto un gran progreso en el uso de algoritmos supervisados de machine learning. Reconocimiento de imágenes, procesamiento de lenguaje natural, detección de patrones, predicción de series temporales, etc. son algunas de las aplicaciones que han visto mejorada su eficiencia con estos algoritmos.

Pero el aprendizaje supervisado necesita etiquetar gran cantidad de datos de entrenamiento para encontrar los parámetros que optimizan la función de coste.

A la necesidad de tener procesos de aprendizaje menos intensivos en datos etiquetados se une que en el cerebro buena parte del aprendizaje que se realiza es no supervisado. Sólo hay que ver la independencia con la que aprenden los niños pequeños experimentando de manera autónoma sin recibir feedback. También, suponiendo que el cerebro humano tiene unas 100 mil millones de neuronas con 1000 sinapsis de media cada una, la gran cantidad de datos necesarios para ajustar los pesos de esas sinapsis (simplificando el proceso de aprendizaje a un ajuste de pesos sinápticos) sólo podría venir de manera no supervisada, como apunta Geoffrey Hinton.

Se hace necesario por lo tanto tener algoritmos no supervisados que permitan extraer representaciones abstractas, útiles y que capten los factores de variación de los datos.

Uno de los mejores ejemplos de aprendizaje no supervisado de representaciones son los Word Embeddings. Como hemos visto en varios posts, estos modelos mapean cada palabra en un elemento de un espacio vectorial (con cientos de dimensiones), de forma que la proximidad entre los elementos sea equivalente a la proximidad lingüística (semántica, sintáctica, morfológica).

En los últimos años, en deep learning se han usado modelos (ver artículo sobre Deep Unsupervised Learning) de aprendizaje no supervisado como los autoencoders y las RBM (Restricted Boltzmann machines):

• Los autoencoders son redes neuronales de tres capas (entrada, capa oculta y salida), donde se codifica la entrada en una representación de menos dimensiones que a su vez sea capaz de reconstruir la entrada. El objetivo es encontrar una representación compacta que minimice el error de reconstrucción.
• Las RBM son un modelo generativo con unidades estocásticas que aprende la probabilidad conjunta de las unidades de la entrada y la capa oculta. En el proceso de aprendizaje a partir de muestreo se van computando valores de las unidades de las dos capas hasta que se minimice el error de reconstrucción. La clave de las RBM es encontrar una representación en la capa oculta que permita generar estocásticamente la entrada. De esa forma la capa oculta comprime la entrada quedándose sólo con la información que capta la variación de dicha entrada.

Sin embargo, aún cuando estos modelos se han usado en multitud de aplicaciones, generan representaciones que permiten reconstruir la entrada (e.g. mapas de pixels) y no representaciones abstractas y útiles para tareas cognitivas posteriores. En el caso de los Word Embedding y Word2vec, las representaciones generadas sí que tienen un significado sintáctico y semántico que resulta muy útil para el aprendizaje posterior.

También, recientemente se han diseñado modelos en los que la señales o el feedback necesario para el aprendizaje se genera internamente o a través de un meta-objetivo:

• Aprendizaje de representaciones prediciendo imágenes rotadas u ordenando secuencias.
• Meta-aprender una regla de aprendizaje no supervisado que produce representaciones eficientes para un objetivo posterior (clasificación semisupervisada).

Por lo tanto, una de las claves para impulsar el machine learning es poder aprender de manera no supervisada representaciones abstractas, relevantes cognitivamente y en un espacio de menos dimensiones y más cercano a las funciones desarrolladas en el cerebro. Este va a ser un campo muy activo en el futuro.