Entropía de Shannon: Midiendo el Contenido de Información

simulation intermediate ~10 min
Cargando simulación...

Fórmula

H = -\sum_{i=1}^{N} p_i \cdot \log_2(p_i)
H_{\max} = \log_2(N)
\text{Redundancy} = 1 - \frac{H}{H_{\max}}
H \leq \bar{L} < H + 1 \quad \text{(Huffman bound)}
En 1948, Claude Shannon formuló una pregunta engañosamente simple: ¿cómo se mide la información? Su respuesta —la entropía— se convirtió en el fundamento de la era digital. La entropía de Shannon H = -Σ p_i·log₂(p_i) mide la sorpresa promedio en un mensaje. Un lanzamiento de moneda justa porta exactamente 1 bit de entropía: cada resultado es igualmente sorprendente. Una moneda sesgada con 90% de cara porta solo 0,47 bits por lanzamiento: el resultado es mayormente predecible, así que cada lanzamiento transmite menos información. La idea clave es que la información trata fundamentalmente sobre la incertidumbre. Un mensaje que te dice algo que ya sabías no porta información. Un mensaje que resuelve incertidumbre genuina porta información máxima. La entropía cuantifica esto con precisión. Para una fuente con N símbolos igualmente probables, la entropía alcanza su máximo de log₂(N) bits. Cualquier desviación de la uniformidad reduce la entropía. El texto en español, con sus frecuencias desiguales de letras (la E aparece el 13% del tiempo, la Z solo el 0,5%), tiene una entropía muy por debajo del máximo teórico, razón por la cual el texto en español puede comprimirse. Este simulador te permite construir distribuciones de probabilidad personalizadas y observar cómo responde la entropía. Observa cómo concentrar la probabilidad en menos símbolos reduce la entropía, aumenta la redundancia y cambia las longitudes óptimas de código asignadas por la codificación Huffman. El flujo de símbolos en la parte inferior hace concreto lo abstracto: las fuentes de alta entropía parecen aleatorias, mientras que las fuentes de baja entropía muestran patrones visibles.

Preguntas frecuentes

¿Qué es la entropía de Shannon?

La entropía de Shannon es una medida matemática del contenido de información promedio (o incertidumbre) en una fuente de mensajes. Definida como H = -Σ p_i·log₂(p_i), donde p_i es la probabilidad de cada símbolo, cuantifica el número mínimo de bits necesarios por símbolo para codificar mensajes de esa fuente. Claude Shannon la introdujo en su artículo de 1948 'A Mathematical Theory of Communication', fundando el campo de la teoría de la información.

¿Por qué se mide la entropía en bits?

El uso del logaritmo en base 2 da la entropía en bits porque cada bit representa una elección binaria. Un bit resuelve la incertidumbre de un lanzamiento de moneda justo. La formulación con log₂ indica directamente el número mínimo de dígitos binarios necesarios para codificar cada símbolo en promedio. Usar logaritmos naturales da la entropía en 'nats', utilizados en física y aprendizaje automático.

¿Cuál es la relación entre entropía y compresión de datos?

El teorema de codificación de fuente de Shannon demuestra que ningún algoritmo de compresión sin pérdida puede comprimir datos por debajo de H bits por símbolo en promedio. La codificación Huffman y la codificación aritmética se acercan a este límite teórico. La diferencia entre el tamaño sin comprimir y H·N (donde N es la longitud del mensaje) representa la compresión máxima alcanzable.

¿Cuánta entropía tiene el texto en español?

El texto en español tiene aproximadamente 4,7 bits por carácter al considerar las frecuencias de letras individuales, pero baja a unos 1,0-1,5 bits por carácter al tener en cuenta la estructura de las palabras, la gramática y el contexto. Shannon estimó esto mediante experimentos donde humanos predecían el siguiente carácter. El máximo para 27 letras sería log₂(27) ≈ 4,75 bits, por lo que el español utiliza aproximadamente el 25% de su capacidad teórica.

Fuentes

Otras simulaciones: Teoría de la Información

simulation

Explorador de Capacidad de Canal
simulation

Simulador de Compresión de Datos
simulation

Simulador de Corrección de Errores
View source on GitHub