Esta entrada es parte del curso de Deep learning con PyTorch. En este post vamos a ver la librería PyTorch-NLP, una librería abierta para procesamiento de lenguaje natural basada en PyTorch y que viene con módulos interesantes de datasets, embeddings preentrenados, codificadores de texto, redes neuronales, etc. El paquete torchnlp.datasets tiene módulos para descargar, almacenar... Seguir leyendo →
Datasets y Dataloaders en PyTorch
Esta entrada es parte del curso de Deep learning con PyTorch. El módulo torch.utils.data de PyTorh tiene clases muy útiles para la carga de datos necesaria en los procesos de entrenamiento y validación. En este post vamos a ver dos de las clases más importantes, torch.utils.data.Dataset para albergar los datos y torch.utils.data.DataLoader para cargar los... Seguir leyendo →
Captum. Librería para interpretabilidad en PyTorch
Esta entrada es parte del curso de Deep learning con PyTorch. Captum es una librería de PyTorch para proporcionar interpretabilidad a los modelos de deep learning. Con la complejidad de los actuales modelos de deep learning, la interpretabilidad y explicabilidad de los modelos es clave. Los algoritmos de interpretabilidad de Captum se separan en tres... Seguir leyendo →
Fundamentos de PyTorch. LSTMs
Esta entrada es parte del curso de Deep learning con PyTorch. Una LSTM (Long short-term memory) es un tipo de red neuronal recurrente (RNN) muy usada en problemas con dependencia temporal, que se compone de una unidad de memoria y tres reguladores que controlan el flujo de información a la unidad de memoria, "input gate",... Seguir leyendo →
Fundamentos de PyTorch. Optimización
Esta entrada es parte del curso de Deep learning con PyTorch. En posts pasados hemos visto los tensores en PyTorch y el módulo de redes neuronales nn.module. En este vamos a ver todo el proceso de entrenamiento de una red neuronal: creación del modelo, procesamiento de la entrada a través del modelo, computar la pérdida... Seguir leyendo →
Fundamentos de PyTorch. Módulo de redes neuronales
Esta entrada es parte del curso de Deep learning con PyTorch. El paquete torch.nn de PyTorch contiene multitud de clases que nos permiten crear de una manera intuitiva redes neuronales y a la vez tener un nivel de detalle y control de los componentes de las mismas. Una de las clases más importantes de torch.nn... Seguir leyendo →
Fundamentos de PyTorch. Tensores
Esta entrada es parte del curso de Deep learning con PyTorch. Uno de los conceptos más frecuentes en machine learning es el de tensor. Un tensor es la generalización del concepto de vector utilizando el rango para definir el número de indices del tensor. Por ejemplo, un vector es un tensor de rango 1, una... Seguir leyendo →
Ponencia “Del deep learning a la programación diferenciable”
El pasado viernes 31 de febrero, estuvimos en el Instituto Centro de Investigación Operativa de la Universidad Miguel Hernández, impartiendo un seminario sobre la evolución del deep learning y la programación diferenciable. En la ponencia, se dió una introducción a las redes neuronales y el mecanismo de aprendizaje utilizando descenso por gradiente. Se revisó porque... Seguir leyendo →
Programación diferenciable y sistemas dinámicos
En un post pasado vimos que la programación diferenciable (differentiable programming) es una extensión del deep learning con nuevos bloques parametrizables en modelos diferenciables extremo a extremo usando diferenciación automática. Estos bloques añaden nuevas capacidades como razonamiento, atención, memoria, modelos físicos, etc. y permiten que el modelo se adapte a cada situación y tarea concreta.... Seguir leyendo →
Procesamiento de lenguaje, de los word embeddings hasta BERT
Nuevas representaciones con contexto En posts pasados vimos las representaciones distribuidas de palabras y cómo han mejorado la eficiencia en tareas de procesamiento de lenguaje. Estas representaciones mapean cada palabra del espacio original en un elemento de un espacio vectorial en el que la proximidad entre vectores se corresponde con la proximidad sintáctica y semántica... Seguir leyendo →
