La historia de la inteligencia artificial siempre ha estado marcada por el debate entre el enfoque simbólico y el enfoque conexionista. Este debate ha marcado las distintas etapas del machine learning y del procesamiento del lenguaje natural: Un primer período a partir de los años 50 marcado por el Test de Turing, el racionalismo y... Seguir leyendo →
Nueva sección de Machine learning & Business
El machine learning está posibilitando y va a posibilitar grandes oportunidades tanto para el sector público como privado. La transición de la investigación y desarrollo en machine learning a casos de negocio concretos es un proceso delicado que va más allá de lo puramente técnico. Hemos creado una nueva sección dedicada a todos los aspectos... Seguir leyendo →
Redes convolucionales, de la invarianza a la equivarianza traslacional
En un post anterior, utilizamos una red neuronal convolucional para ver como evolucionaban las representaciones en las capas intermedias en el proceso de entrenamiento. La arquitectura de la red convolucional empleada y un resumen de ella se pueden ver a continuación: Una de las capas más utilizadas en una red convolucional es la capa de... Seguir leyendo →
Entrenamiento de redes convolucionales y teoría de la información
En un post pasado de teoría de la información en deep learning vimos como Naftali Tishby y su equipo han aplicado con éxito el método del cuello de botella de la información al deep learning. En sus simulaciones analizaron cuánta información retiene cada capa de una red neuronal de la entrada y de la salida... Seguir leyendo →
Spark para Machine learning en Google Colab
Con el incremento en la cantidad de datos y procesamiento en los últimos años, se ha hecho necesario disponer de nuevos paradigmas de computación paralela que permitan repartir la carga de procesamiento en múltiples máquinas mejorando así la eficiencia del proceso. Fruto de esta necesidad surgió MapReduce y Apache Spark, una extensión de este. Spark... Seguir leyendo →
El potencial del aprendizaje no supervisado de representaciones
En los últimos años, gracias en parte al incremento de las capacidades de computación, hemos visto un gran progreso en el uso de algoritmos supervisados de machine learning. Reconocimiento de imágenes, procesamiento de lenguaje natural, detección de patrones, predicción de series temporales, etc. son algunas de las aplicaciones que han visto mejorada su eficiencia con... Seguir leyendo →
Word embeddings y skip-gram
En posts anteriores vimos que las representaciones distribuidas de las palabras permiten extraer mucha información y han mejorado el rendimiento de las aplicaciones de procesamiento de lenguaje natural. Los Word embeddings son un claro ejemplo de la importancia y el potencial del aprendizaje no supervisado de representaciones. A partir de un cuerpo de texto de... Seguir leyendo →
Neurociencias, inspiración para el machine learning
En un post pasado analizamos las relaciones entre el campo del machine learning y las neurociencias. Vimos, que de las relaciones existentes, un área bastante productiva y prometedora es el desarrollo de algoritmos de machine learning inspirados en el procesamiento de información en el cerebro. En la actualidad existe un debate sobre si hace falta... Seguir leyendo →
Las GPUs y el machine learning
Uno de los factores que más ha impulsado el deep learning en los últimos años ha sido el uso de las GPUs (graphics processing unit) para acelerar el entrenamiento y despliegue de los algoritmos. Las GPUs son circuitos electrónicos, popularizadas por Nvidia y especializadas en procesado de imágenes y gráficos. Cuentan con una estructura paralela... Seguir leyendo →
Problema del desvanecimiento del gradiente (vanishing gradient problem)
Como hemos comentado en otros posts, en los modelos de machine learning el objetivo es encontrar los parámetros del modelo que minimizan una función de coste. En redes neuronales se usa el algoritmo de descenso por gradiente, que va realizando sobre los parámetros iteraciones proporcionales al valor negativo del gradiente en el punto actual. El... Seguir leyendo →
