En los últimos años, los avances en procesadores gráficos (GPUs) y las nuevas arquitecturas y modelos de deep learning como los transformers han supuesto una revolución científica. La pregunta que surge es cómo trasladar estos avances en nuevos productos y un mayor impacto económico y social. Estos últimos meses hemos visto la revolución que ha... Seguir leyendo →
Almacenamiento de tensores en PyTorch
Como hemos visto, los tensores son un elemento básico en PyTorch. Son los elementos de diferente rango (escalares, vectores, matrics, etc.) que contienen la información en PyTorch y sobre los que actúan los modelos. Sin embargo, a pesar de su rango y dimensiones, los tensores se almacenan en memoria en un array unidimensional de elementos... Seguir leyendo →
Hooks en PyTorch
En programación, nos referimos a un hook como el conjunto de técnicas que modifican o aumentan el comportamiento de un programa ante un evento. Esto suele usarse para depurar un programa o ampliar su funcionalidad. En PyTorch, un hook se puede registrar para el objeto tensor o para el objeto nn.module y los eventos que... Seguir leyendo →
Mecanismos de atención y sistemas complejos
En posts pasados hemos visto cómo funcionan los mecanismos de atención y como han supuesto un fuerte avance en el campo del deep learning. En el cerebro, los mecanismos de atención permiten al cerebro centrarse en una parte de la entrada (imagen, texto, cualquier percepción) y darle menos atención a otras. Esta es una función muy importante... Seguir leyendo →
TensorBoard con PyTorch
Esta entrada es parte del curso de Deep learning con PyTorch. TensorBoard es una de las herramientas más potentes de visualización en machine learning. Permite realizar funciones interesantes como: Visualizar métricas como la pérdida y la exactitud.Visualizar los grafos creados por el modelo.Ver histógramas de los parámetros y como cambian en el tiempo.Ver imágenes y... Seguir leyendo →
Datasets y Dataloaders en PyTorch
Esta entrada es parte del curso de Deep learning con PyTorch. El módulo torch.utils.data de PyTorh tiene clases muy útiles para la carga de datos necesaria en los procesos de entrenamiento y validación. En este post vamos a ver dos de las clases más importantes, torch.utils.data.Dataset para albergar los datos y torch.utils.data.DataLoader para cargar los... Seguir leyendo →
Programación diferenciable y sistemas dinámicos
En un post pasado vimos que la programación diferenciable (differentiable programming) es una extensión del deep learning con nuevos bloques parametrizables en modelos diferenciables extremo a extremo usando diferenciación automática. Estos bloques añaden nuevas capacidades como razonamiento, atención, memoria, modelos físicos, etc. y permiten que el modelo se adapte a cada situación y tarea concreta.... Seguir leyendo →
Expresividad, potencial y necesaria, de las redes neuronales
El deep learning ha proporcionado grandes avances en problemas que hace unos años tenían tasas de errores considerables. Sin embargo, ese éxito no ha venido acompañado de una justificación teórica y formal de la eficacia del deep learning. Sabemos, por el teorema de aproximación universal, que una red neuronal de una capa y un número... Seguir leyendo →
Programación diferenciable, una evolución del deep learning
En este blog hemos descrito multitud de modelos de deep learning en los que varias capas de redes neuronales procesan la información de la entrada produciendo representaciones cada vez más abstractas y apropiadas para resolver una tarea. Estos modelos podían tener recurrencia como las RNN, filtros usando redes convoluciones o word embeddings para poder reflejar... Seguir leyendo →
Teorema NFL y meta-learning
El teorema No-Free-Lunch (NFL) de optimización nos dice que no existe un algoritmo de aprendizaje universal. En tareas de clasificación, para cada algoritmo de aprendizaje, siempre existirá una distribución de probabilidad (que genera los datos entrada-salida) en la que falle. Una definición intuitiva, como la aportada en el libro de Shalev-Shwartz y Ben-David, establece que... Seguir leyendo →
