Esta entrada es parte del curso de Deep learning con PyTorch. En un post pasado presentamos la optimización Bayesiana y las dos nuevas herramientas abiertas de Facebook, Ax y BoTorch. Ax es una herramienta de alto nivel para gestionar experimentos adaptativos y BoTorch una librería de optimización bayesiana. En este post vamos a ver un... Seguir leyendo →
Blog
Nuevas herramientas de optimización bayesiana en PyTorch
Esta entrada es parte del curso de Deep learning con PyTorch. Con frecuencia en machine learning queremos optimizar los hiperparámetros de un modelo. Por ejemplo, en una red neuronal queremos saber el número de capas, el número de unidades por capa o la tasa de aprendizaje (learning rate) que logran un mejor comportamiento. Este problema... Seguir leyendo →
Teorema NFL y meta-learning
El teorema No-Free-Lunch (NFL) de optimización nos dice que no existe un algoritmo de aprendizaje universal. En tareas de clasificación, para cada algoritmo de aprendizaje, siempre existirá una distribución de probabilidad (que genera los datos entrada-salida) en la que falle. Una definición intuitiva, como la aportada en el libro de Shalev-Shwartz y Ben-David, establece que... Seguir leyendo →
Entender la generalización, clave para comprender el Deep Learning
Una de las partes importantes del machine learning es la generalización de los algoritmos, es decir su comportamiento para datos no vistos durante el entrenamiento. Dado que los algoritmos se han entrenado usando muestras finitas, este entrenamiento está sujeto a errores de muestreo (error debido a obtener los parámetros del modelo de sólo una muestra... Seguir leyendo →
Autograd, clave de la flexibilidad de PyTorch
Esta entrada es parte del curso de Deep learning con PyTorch. En los últimos dos años hemos visto como PyTorch, el framework basado en Torch para Deep Learning creado por Facebook, está siendo una alternativa potente a Tensorflow. Una de las principales ventajas de PyTorch es que es un framework imperativo, en el que las... Seguir leyendo →
PyTorch con CUDA en Colab
Esta entrada es parte del curso de Deep learning con PyTorch. En un post pasado vimos como las GPUs (graphics processing units) han impulsado el desarrollo del Deep Learning en los últimos años. Las GPUs, gracias a su estructura en paralelo, son muy eficientes para algoritmos con procesamiento de datos en paralelo como los usados... Seguir leyendo →
Perspectivas del deep symbolic learning
La historia de la inteligencia artificial siempre ha estado marcada por el debate entre el enfoque simbólico y el enfoque conexionista. Este debate ha marcado las distintas etapas del machine learning y del procesamiento del lenguaje natural: Un primer período a partir de los años 50 marcado por el Test de Turing, el racionalismo y... Seguir leyendo →
Nueva sección de Machine learning & Business
El machine learning está posibilitando y va a posibilitar grandes oportunidades tanto para el sector público como privado. La transición de la investigación y desarrollo en machine learning a casos de negocio concretos es un proceso delicado que va más allá de lo puramente técnico. Hemos creado una nueva sección dedicada a todos los aspectos... Seguir leyendo →
Redes convolucionales, de la invarianza a la equivarianza traslacional
En un post anterior, utilizamos una red neuronal convolucional para ver como evolucionaban las representaciones en las capas intermedias en el proceso de entrenamiento. La arquitectura de la red convolucional empleada y un resumen de ella se pueden ver a continuación: Una de las capas más utilizadas en una red convolucional es la capa de... Seguir leyendo →
Entrenamiento de redes convolucionales y teoría de la información
En un post pasado de teoría de la información en deep learning vimos como Naftali Tishby y su equipo han aplicado con éxito el método del cuello de botella de la información al deep learning. En sus simulaciones analizaron cuánta información retiene cada capa de una red neuronal de la entrada y de la salida... Seguir leyendo →
