Uno de los factores que más ha impulsado el deep learning en los últimos años ha sido el uso de las GPUs (graphics processing unit) para acelerar el entrenamiento y despliegue de los algoritmos. Las GPUs son circuitos electrónicos, popularizadas por Nvidia y especializadas en procesado de imágenes y gráficos. Cuentan con una estructura paralela... Seguir leyendo →
Problema del desvanecimiento del gradiente (vanishing gradient problem)
Como hemos comentado en otros posts, en los modelos de machine learning el objetivo es encontrar los parámetros del modelo que minimizan una función de coste. En redes neuronales se usa el algoritmo de descenso por gradiente, que va realizando sobre los parámetros iteraciones proporcionales al valor negativo del gradiente en el punto actual. El... Seguir leyendo →
Optimización, complejidad computacional y deep learning
En la base de muchos algoritmos de machine learning está encontrar los parámetros del modelo que minimizan una función de coste dados los datos de entrenamiento. Este problema de optimización es clave ya que si tenemos garantizada su solución podremos encontrar los parámetros que minimizan el error. Las claves para que este problema de optimización... Seguir leyendo →
Ejemplo de Word Embeddings con Gensim
En posts anteriores vimos como las representaciones distribuidas permiten extraer mucha información de las palabras y mejorar el rendimiento de las aplicaciones de procesamiento de lenguaje natural. Uno de los modelos más usados es Word2vec, creado en 2013 por Tomas Mikolov en Google, que se basa en redes neuronales de varias capas y tiene dos... Seguir leyendo →
Word2vec, representaciones distribuidas en procesamiento de lenguaje
En un post anterior vimos como el uso de representaciones distribuidas en procesamiento de lenguaje natural permite extraer mucha más información y realizar un procesado más eficiente que las representaciones locales. El objetivo de las representaciones distribuidas del lenguaje es encontrar una función f que sea capaz de convertir cada palabra en un vector de... Seguir leyendo →
Machine learning, aportando valor a la inversión
En un post anterior de machine learning aplicado a las finanzas vimos cómo y en qué casos puede el machine learning aportar valor a la inversión. En el mundo de la inversión, cualquier herramienta que aporte una ventaja competitiva al inversor puede ser de gran ayuda. El machine learning, unido a la disponibilidad de gran... Seguir leyendo →
Aumentando la explicabilidad de los algoritmos de machine learning
En los últimos años hemos visto un aumento del uso de algoritmos de machine learning y deep learning para resolver problemas de clasificación de imágenes, predicción de series, aprendizaje reforzado, procesamiento de lenguaje, etc. Sin embargo, con el aumento de la complejidad de los algoritmos utilizados, como es el caso del deep learning, es muy... Seguir leyendo →
Representaciones distribuidas para procesamiento de lenguaje natural
En un post anterior vimos la importancia de las representaciones distribuidas en machine learning y cómo permiten captar la estructura estadística y los factores que explican la variación de los datos. En el procesamiento del lenguaje natural también es muy importante cómo representemos el texto ya que nos condicionará el proceso de aprendizaje. La representación... Seguir leyendo →
Teoría de la Información en Deep Learning
Cuando hablábamos sobre información relevante y suficiente en machine learning describíamos el método del cuello de botella de la información (information bottleneck method) de Tishby. El método calcula cuánto resumir o reducir la variable X preservando la máxima información sobre la variable relevante objetivo Y usando la información mutua. En los últimos años Tishby y... Seguir leyendo →
Machine learning, aportando valor en finanzas (inversión)
Conforme el machine learning va penetrando en los diferentes sectores de la economía, una de las preguntas que más se repite es qué impacto tendrá en el sector financiero y si supondrá una auténtica revolución. Para responder a esa pregunta es necesario tener claro cómo y en qué casos puede aportar valor el machine learning... Seguir leyendo →
