Adrián Hernández – Machine learning y computación
En posts pasados hemos visto cómo funcionan los mecanismos de atención y como han supuesto un fuerte avance en el campo del deep learning. En el cerebro, los mecanismos de atención permiten al cerebro centrarse en una parte de la entrada (imagen, texto, cualquier percepción) y darle menos atención a otras. Esta es una función muy importante... Seguir leyendo →
El pasado viernes 31 de febrero, estuvimos en el Instituto Centro de Investigación Operativa de la Universidad Miguel Hernández, impartiendo un seminario sobre la evolución del deep learning y la programación diferenciable. En la ponencia, se dió una introducción a las redes neuronales y el mecanismo de aprendizaje utilizando descenso por gradiente. Se revisó porque... Seguir leyendo →
En un post pasado vimos que la programación diferenciable (differentiable programming) es una extensión del deep learning con nuevos bloques parametrizables en modelos diferenciables extremo a extremo usando diferenciación automática. Estos bloques añaden nuevas capacidades como razonamiento, atención, memoria, modelos físicos, etc. y permiten que el modelo se adapte a cada situación y tarea concreta.... Seguir leyendo →
Nuevas representaciones con contexto En posts pasados vimos las representaciones distribuidas de palabras y cómo han mejorado la eficiencia en tareas de procesamiento de lenguaje. Estas representaciones mapean cada palabra del espacio original en un elemento de un espacio vectorial en el que la proximidad entre vectores se corresponde con la proximidad sintáctica y semántica... Seguir leyendo →
Como comentamos en un post pasado, la interpretabilidad y explicabilidad son dos de las limitaciones más mencionadas del machine learning. La interpretabilidad trata de explicar la relación causa-efecto del algoritmo y saber cómo variará la salida ante cambios en la entrada o en los parámetros. La explicabilidad proporciona un conocimiento del funcionamiento interno del algoritmo... Seguir leyendo →
En este post vamos a hacer una introducción al mecanismo de atención usado en modelos seq2seq de deep learning y concretamente en procesamiento de lenguaje natural. La descripción va a tener el nivel de detalle suficiente para que se entienda la esencia y el concepto de atención. Los modelos seq2seq (sentence to sentence), utilizados para... Seguir leyendo →
Orgullosamente ofrecido por WordPress | Tema: Baskerville 2 por Anders Noren.