Introducción a los mecanismos de atención

En este post vamos a hacer una introducción al mecanismo de atención usado en modelos seq2seq de deep learning y concretamente en procesamiento de lenguaje natural. La descripción va a tener el nivel de detalle suficiente para que se entienda la esencia y el concepto de atención. Los modelos seq2seq (sentence to sentence), utilizados para... Seguir leyendo →

Optimización bayesiana con PyTorch y Ax

Esta entrada es parte del curso de Deep learning con PyTorch. En un post pasado presentamos la optimización Bayesiana y las dos nuevas herramientas abiertas de Facebook, Ax y BoTorch. Ax es una herramienta de alto nivel para gestionar experimentos adaptativos y BoTorch una librería de optimización bayesiana. En este post vamos a ver un... Seguir leyendo →

Teorema NFL y meta-learning

El teorema No-Free-Lunch (NFL) de optimización nos dice que no existe un algoritmo de aprendizaje universal. En tareas de clasificación, para cada algoritmo de aprendizaje, siempre existirá una distribución de probabilidad (que genera los datos entrada-salida) en la que falle. Una definición intuitiva, como la aportada en el libro de Shalev-Shwartz y Ben-David, establece que... Seguir leyendo →

Autograd, clave de la flexibilidad de PyTorch

Esta entrada es parte del curso de Deep learning con PyTorch. En los últimos dos años hemos visto como PyTorch, el framework basado en Torch para Deep Learning creado por Facebook, está siendo una alternativa potente a Tensorflow. Una de las principales ventajas de PyTorch es que es un framework imperativo, en el que las... Seguir leyendo →

PyTorch con CUDA en Colab

Esta entrada es parte del curso de Deep learning con PyTorch. En un post pasado vimos como las GPUs (graphics processing units) han impulsado el desarrollo del Deep Learning en los últimos años. Las GPUs, gracias a su estructura en paralelo, son muy eficientes para algoritmos con procesamiento de datos en paralelo como los usados... Seguir leyendo →

Perspectivas del deep symbolic learning

La historia de la inteligencia artificial siempre ha estado marcada por el debate entre el enfoque simbólico y el enfoque conexionista. Este debate ha marcado las distintas etapas del machine learning y del procesamiento del lenguaje natural: Un primer período a partir de los años 50 marcado por el Test de Turing, el racionalismo y... Seguir leyendo →

Orgullosamente ofrecido por WordPress | Tema: Baskerville 2 por Anders Noren.

Subir ↑