En este post de nuestro tutorial de deep learning con PyToch vamos a ver como extender PyTorch. Si quieremos implementar un nuevo módulo o función no disponible en las librerías de PyTorch tenemos varias opciones dependiendo del caso: Si queremos añadir primitivas clásicas (if, while,...) en un módulo, simplemente insertaremos las primitivas en el método... Seguir leyendo →
Mecanismos de atención y sistemas complejos
En posts pasados hemos visto cómo funcionan los mecanismos de atención y como han supuesto un fuerte avance en el campo del deep learning. En el cerebro, los mecanismos de atención permiten al cerebro centrarse en una parte de la entrada (imagen, texto, cualquier percepción) y darle menos atención a otras. Esta es una función muy importante... Seguir leyendo →
Programación orientada a objetos en PyTorch
Esta entrada es parte del curso de Deep learning con PyTorch. En este post vamos a repasar algunos conceptos de programación orientada a objetos que son necesarios para comprender el funcionamiento de PyTorch. Recordemos que Python es un lenguaje orientado a objetos y que PyTorch hace uso de esta capacidad para hacer más fácil su... Seguir leyendo →
Captum. Librería para interpretabilidad en PyTorch
Esta entrada es parte del curso de Deep learning con PyTorch. Captum es una librería de PyTorch para proporcionar interpretabilidad a los modelos de deep learning. Con la complejidad de los actuales modelos de deep learning, la interpretabilidad y explicabilidad de los modelos es clave. Los algoritmos de interpretabilidad de Captum se separan en tres... Seguir leyendo →
Fundamentos de PyTorch. LSTMs
Esta entrada es parte del curso de Deep learning con PyTorch. Una LSTM (Long short-term memory) es un tipo de red neuronal recurrente (RNN) muy usada en problemas con dependencia temporal, que se compone de una unidad de memoria y tres reguladores que controlan el flujo de información a la unidad de memoria, "input gate",... Seguir leyendo →
Fundamentos de PyTorch. Optimización
Esta entrada es parte del curso de Deep learning con PyTorch. En posts pasados hemos visto los tensores en PyTorch y el módulo de redes neuronales nn.module. En este vamos a ver todo el proceso de entrenamiento de una red neuronal: creación del modelo, procesamiento de la entrada a través del modelo, computar la pérdida... Seguir leyendo →
Fundamentos de PyTorch. Módulo de redes neuronales
Esta entrada es parte del curso de Deep learning con PyTorch. El paquete torch.nn de PyTorch contiene multitud de clases que nos permiten crear de una manera intuitiva redes neuronales y a la vez tener un nivel de detalle y control de los componentes de las mismas. Una de las clases más importantes de torch.nn... Seguir leyendo →
Ponencia “Del deep learning a la programación diferenciable”
El pasado viernes 31 de febrero, estuvimos en el Instituto Centro de Investigación Operativa de la Universidad Miguel Hernández, impartiendo un seminario sobre la evolución del deep learning y la programación diferenciable. En la ponencia, se dió una introducción a las redes neuronales y el mecanismo de aprendizaje utilizando descenso por gradiente. Se revisó porque... Seguir leyendo →
Expresividad, potencial y necesaria, de las redes neuronales
El deep learning ha proporcionado grandes avances en problemas que hace unos años tenían tasas de errores considerables. Sin embargo, ese éxito no ha venido acompañado de una justificación teórica y formal de la eficacia del deep learning. Sabemos, por el teorema de aproximación universal, que una red neuronal de una capa y un número... Seguir leyendo →
Teorema NFL y meta-learning
El teorema No-Free-Lunch (NFL) de optimización nos dice que no existe un algoritmo de aprendizaje universal. En tareas de clasificación, para cada algoritmo de aprendizaje, siempre existirá una distribución de probabilidad (que genera los datos entrada-salida) en la que falle. Una definición intuitiva, como la aportada en el libro de Shalev-Shwartz y Ben-David, establece que... Seguir leyendo →
