Cuando hablábamos sobre información relevante y suficiente en machine learning describíamos el método del cuello de botella de la información (information bottleneck method) de Tishby. El método calcula cuánto resumir o reducir la variable X preservando la máxima información sobre la variable relevante objetivo Y usando la información mutua. En los últimos años Tishby y... Seguir leyendo →
Importancia de las representaciones distribuidas
Una de las claves del éxito del Deep Learning ha sido la capacidad de las redes neuronales con muchas capas de extraer representaciones distribuidas de los datos y de esa forma facilitar el proceso de entrenamiento y aprendizaje. Estas representaciones distribuidas permiten captar la estructura estadística y los factores que explican la variación de los... Seguir leyendo →
Por qué el deep learning funciona tan bien?
En los últimos años hemos visto un gran desarrollo y éxito del deep learning en el aprendizaje automático y la inteligencia artificial. El deep learning utiliza redes neuronales con muchas capas en las que cada capa extrae información de la capa anterior formando una jerarquía de representaciones. Como hemos comentado en otras entradas, el éxito... Seguir leyendo →
Información relevante y suficiente en machine learning
En un problema de machine learning (aprendizaje automático) intentamos que las máquinas obtengan información y aprendizaje a partir de un conjunto de datos. Por ello la información que extraigamos de los datos es muy importante tanto si estamos en aprendizaje supervisado (los datos tiene etiquetas o valores objetivo), no supervisado o combinaciones de los mismos.... Seguir leyendo →
