Interpretabilidad en machine learning y los mecanismos de atención

Como comentamos en un post pasado, la interpretabilidad y explicabilidad son dos de las limitaciones más mencionadas del machine learning.

La interpretabilidad trata de explicar la relación causa-efecto del algoritmo y saber cómo variará la salida ante cambios en la entrada o en los parámetros. La explicabilidad proporciona un conocimiento del funcionamiento interno del algoritmo y aclara el porqué de su comportamiento.

Con los modelos tradicionales de deep learning como las RNNs (Recurrent neural networks), LSTMs (Long short-term memories) o CNNs (Convolutional neural networks) es difícil predecir la salida del modelo ante cambios en la entrada y también explicar con detalle el funcionamiento interno, más allá de la función  proporcionada por cada una de las capas y las simetrías del modelo.

En un post pasado sobre los mecanismos diferenciables de atención, vimos cómo la atención permite al modelo seq2seq centrarse en unos elementos de la secuencia de entrada más que en otros.

Como se puede ver en la ecuación, los coeficientes de atención relacionan cada elemento de la entrada codificada por el encoder con la salida en el instante t.

Estos coeficientes de atención permiten dotar de interpretabilidad al modelo y poder averiguar la relación entre los elementos de la entrada y los de la salida. En la siguiente figura se muestra un ejemplo de matriz de coeficientes de atención para un modelo de traducción automática. En la figura se observan los palabras de la frase original más importantes para cada palabra de la frase traducida.

Aprovechando esta característica, en los últimos años se han definido modelos predictivos en aplicaciones en las que la interpretabilidad es clave como en aplicaciones sanitarias.

También se han realizado estudios para confirmar si realmente el mecanismo de atención es totalmente interpretable, concluyendo que la atención identifica parcialmente, pero con reservas, la importancia de cada elemento de la entrada en el modelo.

Por lo tanto, uno de los modelos clave de la programación diferenciable como es la atención, además de mejorar el rendimiento en varias tareas como traducción automática y predicción de series temporales, puede aportar interpretabilidad y explicabilidad al machine learning.