Adrián Hernández – Inteligencia artificial y computación
Debido al auge que han tenido los LLMs (grandes modelos de lenguaje), que consumen grandes recursos (procesador, memoria, almacenamiento) durante su entrenamiento, es también importante estimar el consumo de recursos cuando desplegamos esos modelos en producción. De hecho, la escalada de precios actual de la memoria RAM, HBM (Memoria de Alto Ancho de Banda) y... Seguir leyendo →
En posts pasados hemos visto cómo funcionan los mecanismos de atención y como han supuesto un fuerte avance en el campo del deep learning. En el cerebro, los mecanismos de atención permiten al cerebro centrarse en una parte de la entrada (imagen, texto, cualquier percepción) y darle menos atención a otras. Esta es una función muy importante... Seguir leyendo →
Como comentamos en un post pasado, la interpretabilidad y explicabilidad son dos de las limitaciones más mencionadas del machine learning. La interpretabilidad trata de explicar la relación causa-efecto del algoritmo y saber cómo variará la salida ante cambios en la entrada o en los parámetros. La explicabilidad proporciona un conocimiento del funcionamiento interno del algoritmo... Seguir leyendo →
En este post vamos a hacer una introducción al mecanismo de atención usado en modelos seq2seq de deep learning y concretamente en procesamiento de lenguaje natural. La descripción va a tener el nivel de detalle suficiente para que se entienda la esencia y el concepto de atención. Los modelos seq2seq (sentence to sentence), utilizados para... Seguir leyendo →
Orgullosamente ofrecido por WordPress | Tema: Baskerville 2 por Anders Noren.