En Julio de 2026, Anthropic introdujo una nueva técnica de interpretabilidad, las J-lens, para identificar en un LLM lo que en neurociencias se llama el espacio de trabajo (workspace), el conjunto de representaciones internas disponibles para comunicación, razonamiento y modulación. Serían los pensamientos accesibles frente al procesamiento inconsciente. Consideramos el vector de la corriente residual... Seguir leyendo →
GRPO paso a paso para ajustar LLMs
GRPO (Group Relative Policy Optimization) es un algoritmo de aprendizaje por refuerzo para afinar LLMs, creado por DeepSeek. Es clave en DeepSeek-R1. Es una variante de PPO (Proximal Policy Optimization) que elimina la necesidad de un modelo crítico (value network). Para cada prompt genera un grupo de respuestas, cada una recibe una recompensa (usando una... Seguir leyendo →
Reward hacking, problema inherente de la IA avanzada sin solución estructural
Historia En los inicios de los LLMs, estos se entrenaban solo con aprendizaje semisupervisado prediciendo el siguiente token en gigantescos corpus de texto de Internet. Este paradigma permitía al modelo aprender gramática, hechos y estructuras lingüísticas complejas, pero carecía de capacidad de acción. El modelo simplemente replicaba los patrones estadísticos de los datos de entrenamiento.... Seguir leyendo →
El residual stream en un LLM basado en Transformers
Como vimos en el post de interpretabilidad mecanicista, uno de sus objetivos es rastrear el flujo de información a través de un modelo. El residual stream (flujo residual) es uno de los conceptos más importantes para entender cómo funcionan internamente los modelos basados en Transformers. En lugar de ver al Transformer como una serie de... Seguir leyendo →
Interpretabilidad mecanicista con TransformerLens
En un post pasado vimos una introducción a la interpretabilidad mecanicista y como intenta extraer información de los pesos y activaciones de los LLMs. Una de las librerías más usadas en interpretabilidad mecanicista es TransformerLens, que permite cargar un LLM open source y explorar y transformar las activaciones del modelo. Vamos a ver un ejemplo... Seguir leyendo →
Optimización de la KV cache en LLMs
En un post pasado vimos los recursos de memoria para los LLMs en producción o inferencia y que la KV cache, que almacena temporalmente los vectores Clave (Key) y Valor (Value) generados durante la lectura de la secuencia, es junto con el almacenamiento del modelo, uno de los mayores consumidores de RAM en inferencia. Para... Seguir leyendo →
Uso de autoencoders (SAE) para interpretabilidad mecanicista
En un post pasado vimos una introducción a la interpretabilidad mecanicista. Vimos que una sola neurona de un modelo de lenguaje (LLM) se activa ante conceptos completamente diferentes y que los SAEs (Sparse Autoencoders) descomponen estas activaciones complejas en características o conceptos (features) dispersos y monosemánticos (que significan una sola cosa). También referenciamos tutoriales de... Seguir leyendo →
Introducción a la interpretabilidad mecanicista de los LLMs
La interpretabilidad mecanicista tiene como objetivo aplicar ingeniería inversa a los pesos y activaciones aprendidos en los modelos de lenguaje de gran tamaño (LLMs) y modelos basados en redes neuronales para convertirlos en algoritmos comprensibles para los seres humanos. En lugar de tratar los modelos como cajas negras o depender de atribuciones de características de... Seguir leyendo →
LoRA para adaptación eficiente
LoRA (Low-Rank Adaptation) es una técnica ideada en 2021 por un equipo de investigadores de Microsoft que reduce drásticamente el número de parámetros entrenables en modelos de lenguaje de gran tamaño. En el ajuste fino tradicional, el modelo ajusta una matriz de pesos para obtener la matriz adaptada. LoRA congela el modelo base y calcula... Seguir leyendo →
Recursos (memoria) para LLMs en producción
Debido al auge que han tenido los LLMs (grandes modelos de lenguaje), que consumen grandes recursos (procesador, memoria, almacenamiento) durante su entrenamiento, es también importante estimar el consumo de recursos cuando desplegamos esos modelos en producción. De hecho, la escalada de precios actual de la memoria RAM, HBM (Memoria de Alto Ancho de Banda) y... Seguir leyendo →
