El pasado viernes 31 de febrero, estuvimos en el Instituto Centro de Investigación Operativa de la Universidad Miguel Hernández, impartiendo un seminario sobre la evolución del deep learning y la programación diferenciable.
En la ponencia, se dió una introducción a las redes neuronales y el mecanismo de aprendizaje utilizando descenso por gradiente.
Se revisó porque el uso de GPUs es clave en el deep learning y su mejora de eficiencia en la multiplicación de matrices.
Se repasaron los avances teóricos en la explicación de por qué el deep learning funciona bien, como el teorema de aproximación universal, la información mutua entre capas y la incorporación de estructura previa y simetrías al modelo.
Y por último se dió una introducción a los mecanismos de atención explicando su funcionamiento en términos de (query, key, value) y por qué son un elemento clave y necesario para el razonamiento.
Deja una respuesta