En Julio de 2026, Anthropic introdujo una nueva técnica de interpretabilidad, las J-lens, para identificar en un LLM lo que en neurociencias se llama el espacio de trabajo (workspace), el conjunto de representaciones internas disponibles para comunicación, razonamiento y modulación. Serían los pensamientos accesibles frente al procesamiento inconsciente. Consideramos el vector de la corriente residual... Seguir leyendo →
El residual stream en un LLM basado en Transformers
Como vimos en el post de interpretabilidad mecanicista, uno de sus objetivos es rastrear el flujo de información a través de un modelo. El residual stream (flujo residual) es uno de los conceptos más importantes para entender cómo funcionan internamente los modelos basados en Transformers. En lugar de ver al Transformer como una serie de... Seguir leyendo →
Interpretabilidad mecanicista con TransformerLens
En un post pasado vimos una introducción a la interpretabilidad mecanicista y como intenta extraer información de los pesos y activaciones de los LLMs. Una de las librerías más usadas en interpretabilidad mecanicista es TransformerLens, que permite cargar un LLM open source y explorar y transformar las activaciones del modelo. Vamos a ver un ejemplo... Seguir leyendo →
Uso de autoencoders (SAE) para interpretabilidad mecanicista
En un post pasado vimos una introducción a la interpretabilidad mecanicista. Vimos que una sola neurona de un modelo de lenguaje (LLM) se activa ante conceptos completamente diferentes y que los SAEs (Sparse Autoencoders) descomponen estas activaciones complejas en características o conceptos (features) dispersos y monosemánticos (que significan una sola cosa). También referenciamos tutoriales de... Seguir leyendo →
Introducción a la interpretabilidad mecanicista de los LLMs
La interpretabilidad mecanicista tiene como objetivo aplicar ingeniería inversa a los pesos y activaciones aprendidos en los modelos de lenguaje de gran tamaño (LLMs) y modelos basados en redes neuronales para convertirlos en algoritmos comprensibles para los seres humanos. En lugar de tratar los modelos como cajas negras o depender de atribuciones de características de... Seguir leyendo →
Captum. Librería para interpretabilidad en PyTorch
Esta entrada es parte del curso de Deep learning con PyTorch. Captum es una librería de PyTorch para proporcionar interpretabilidad a los modelos de deep learning. Con la complejidad de los actuales modelos de deep learning, la interpretabilidad y explicabilidad de los modelos es clave. Los algoritmos de interpretabilidad de Captum se separan en tres... Seguir leyendo →
