Mecanismos de atención y sistemas complejos

En posts pasados hemos visto cómo funcionan los mecanismos de atención y como han supuesto un fuerte avance en el campo del deep learning. En el cerebro, los mecanismos de atención permiten al cerebro centrarse en una parte de la entrada (imagen, texto, cualquier percepción) y darle menos atención a otras. Esta es una función muy importante... Seguir leyendo →

TensorBoard con PyTorch

Esta entrada es parte del curso de Deep learning con PyTorch. TensorBoard es una de las herramientas más potentes de visualización en machine learning. Permite realizar funciones interesantes como: Visualizar métricas como la pérdida y la exactitud.Visualizar los grafos creados por el modelo.Ver histógramas de los parámetros y como cambian en el tiempo.Ver imágenes y... Seguir leyendo →

Datasets y Dataloaders en PyTorch

Esta entrada es parte del curso de Deep learning con PyTorch. El módulo torch.utils.data de PyTorh tiene clases muy útiles para la carga de datos necesaria en los procesos de entrenamiento y validación. En este post vamos a ver dos de las clases más importantes, torch.utils.data.Dataset para albergar los datos y torch.utils.data.DataLoader para cargar los... Seguir leyendo →

Programación diferenciable y sistemas dinámicos

En un post pasado vimos que la programación diferenciable (differentiable programming) es una extensión del deep learning con nuevos bloques parametrizables en modelos diferenciables extremo a extremo usando diferenciación automática. Estos bloques añaden nuevas capacidades como razonamiento, atención, memoria, modelos físicos, etc. y permiten que el modelo se adapte a cada situación y tarea concreta.... Seguir leyendo →

Teorema NFL y meta-learning

El teorema No-Free-Lunch (NFL) de optimización nos dice que no existe un algoritmo de aprendizaje universal. En tareas de clasificación, para cada algoritmo de aprendizaje, siempre existirá una distribución de probabilidad (que genera los datos entrada-salida) en la que falle. Una definición intuitiva, como la aportada en el libro de Shalev-Shwartz y Ben-David, establece que... Seguir leyendo →

Autograd, clave de la flexibilidad de PyTorch

Esta entrada es parte del curso de Deep learning con PyTorch. En los últimos dos años hemos visto como PyTorch, el framework basado en Torch para Deep Learning creado por Facebook, está siendo una alternativa potente a Tensorflow. Una de las principales ventajas de PyTorch es que es un framework imperativo, en el que las... Seguir leyendo →

Perspectivas del deep symbolic learning

La historia de la inteligencia artificial siempre ha estado marcada por el debate entre el enfoque simbólico y el enfoque conexionista. Este debate ha marcado las distintas etapas del machine learning y del procesamiento del lenguaje natural: Un primer período a partir de los años 50 marcado por el Test de Turing, el racionalismo y... Seguir leyendo →

Orgullosamente ofrecido por WordPress | Tema: Baskerville 2 por Anders Noren.

Subir ↑