Programación diferenciable y sistemas dinámicos

En un post pasado vimos que la programación diferenciable (differentiable programming) es una extensión del deep learning con nuevos bloques parametrizables en modelos diferenciables extremo a extremo usando diferenciación automática. Estos bloques añaden nuevas capacidades como razonamiento, atención, memoria, modelos físicos, etc. y permiten que el modelo se adapte a cada situación y tarea concreta.

Por otra parte, en los últimos años se han aplicado las técnicas de deep learning para modelado, identificación y predicción de sistemas dinámicos. Las redes neuronales recurrentes (RNNs), que añaden dependencia temporal, son la arquitectura de partida para modelar sistemas dinámicos, que describen estados que evolucionan en el tiempo.

¿Que pueden aportar los nuevos modelos de programación diferenciable a los sistemas dinámicos? En este artículo lo explicamos. Para ello:

• Se introduce la programación diferenciable, describiendo sus características principales y explicando por qué es una evolución del deep learning.
• Se describen las últimas técnicas de programación diferenciable como los mecanismos de atención, las memory networks, los DNC (differentiable neural computer).
• Se analiza el modelado de sistemas dinámicos con las técnicas clásicas de deep learning y sus limitaciones.
• Se presentan las oportunidades y aplicaciones de los nuevos modelos de programación diferenciable en los sistemas dinámicos.

Un ejemplo más de las oportunidades que va a traer la programación diferenciable al machine learning y a la inteligencia artificial.