Shannon-Entropie: Informationsgehalt messen

simulation intermediate ~10 min
Simulation wird geladen...

Formel

H = -\sum_{i=1}^{N} p_i \cdot \log_2(p_i)
H_{\max} = \log_2(N)
\text{Redundancy} = 1 - \frac{H}{H_{\max}}
H \leq \bar{L} < H + 1 \quad \text{(Huffman bound)}
1948 stellte Claude Shannon eine trügerisch einfache Frage: Wie misst man Information? Seine Antwort — die Entropie — wurde zum Fundament des digitalen Zeitalters. Die Shannon-Entropie H = -Σ p_i·log₂(p_i) misst die durchschnittliche Überraschung in einer Nachricht. Ein fairer Münzwurf trägt exakt 1 Bit Entropie: jedes Ergebnis ist gleich überraschend. Eine gezinkte Münze mit 90 % Kopf trägt nur 0,47 Bit pro Wurf — das Ergebnis ist meist vorhersagbar, sodass jeder Wurf weniger Information liefert. Die zentrale Erkenntnis: Information ist grundlegend eine Frage der Unsicherheit. Eine Nachricht, die Ihnen etwas Bekanntes mitteilt, trägt keine Information. Eine Nachricht, die echte Unsicherheit auflöst, trägt maximale Information. Die Entropie quantifiziert dies präzise. Für eine Quelle mit N gleich wahrscheinlichen Symbolen erreicht die Entropie ihr Maximum von log₂(N) Bit. Jede Abweichung von der Gleichverteilung verringert die Entropie. Englischer Text mit seinen ungleichen Buchstabenhäufigkeiten (E erscheint zu 13 %, Z nur zu 0,07 %) hat eine Entropie deutlich unter dem theoretischen Maximum — genau deshalb lässt sich englischer Text komprimieren. Dieser Simulator lässt Sie eigene Wahrscheinlichkeitsverteilungen erstellen und beobachten, wie die Entropie reagiert. Beobachten Sie, wie die Konzentration der Wahrscheinlichkeit auf weniger Symbole die Entropie senkt, die Redundanz erhöht und die von der Huffman-Codierung zugewiesenen optimalen Codelängen verändert. Der Symbolstrom am unteren Rand macht das Abstrakte anschaulich: Quellen mit hoher Entropie wirken zufällig, während Quellen mit niedriger Entropie sichtbare Muster zeigen.

Häufige Fragen

Was ist die Shannon-Entropie?

Die Shannon-Entropie ist ein mathematisches Maß für den durchschnittlichen Informationsgehalt (oder die Unsicherheit) einer Nachrichtenquelle. Definiert als H = -Σ p_i·log₂(p_i), wobei p_i die Wahrscheinlichkeit jedes Symbols ist, quantifiziert sie die minimale Anzahl von Bits, die pro Symbol zur Codierung von Nachrichten dieser Quelle benötigt werden. Claude Shannon führte sie 1948 in seiner Arbeit «A Mathematical Theory of Communication» ein und begründete damit die Informationstheorie.

Warum wird Entropie in Bits gemessen?

Die Verwendung des Logarithmus zur Basis 2 ergibt die Entropie in Bits, weil jedes Bit eine binäre Entscheidung darstellt. Ein Bit löst die Unsicherheit eines fairen Münzwurfs auf. Die log₂-Formulierung sagt direkt, wie viele Binärziffern mindestens zur Codierung jedes Symbols im Durchschnitt benötigt werden. Bei natürlichem Logarithmus erhält man die Entropie in «Nats», verwendet in Physik und maschinellem Lernen.

Welche Beziehung besteht zwischen Entropie und Datenkompression?

Shannons Quellencodierungstheorem beweist, dass kein verlustfreier Kompressionsalgorithmus Daten im Durchschnitt unter H Bit pro Symbol komprimieren kann. Huffman-Codierung und arithmetische Codierung nähern sich dieser theoretischen Grenze an. Die Differenz zwischen unkomprimierter Größe und H·N (wobei N die Nachrichtenlänge ist) stellt die maximal erreichbare Kompression dar.

Wie viel Entropie hat englischer Text?

Englischer Text hat ungefähr 4,7 Bit pro Zeichen bei Betrachtung der Einzelbuchstabenhäufigkeiten, sinkt aber auf etwa 1,0–1,5 Bit pro Zeichen unter Berücksichtigung von Wortstruktur, Grammatik und Kontext. Shannon schätzte dies durch Experimente, bei denen Menschen das nächste Zeichen vorhersagten. Das Maximum für 26 Buchstaben wäre log₂(26) ≈ 4,7 Bit, sodass Englisch nur etwa 25 % seiner theoretischen Kapazität nutzt.

Quellen

Weitere Simulationen: Informationstheorie

simulation

Kanalkapazität-Explorer
simulation

Datenkompression-Simulator
simulation

Fehlerkorrektur-Simulator
View source on GitHub