Die Informationstheorie wurde von Claude Shannon in seiner bahnbrechenden Arbeit von 1948 «A Mathematical Theory of Communication» begründet. In einem einzigen Wurf definierte Shannon Information mathematisch (als Entropie), bewies, dass Datenkompression eine fundamentale Grenze hat, und zeigte, dass zuverlässige Kommunikation über verrauschte Kanäle möglich ist — bis zu einer Maximalrate, der sogenannten Kanalkapazität.
Shannons Theorie ist das Fundament des gesamten digitalen Zeitalters. Datenkompression (ZIP, MP3, JPEG), fehlerkorrigierende Codes (in jedem Telefonat, jeder Festplatte und jeder Satellitenverbindung), Kryptographie und sogar maschinelles Lernen beruhen auf informationstheoretischen Prinzipien. Das Bit — Shannons Grundeinheit — wurde zum Atom der digitalen Welt.
Diese Simulationen lassen Sie Shannons wichtigste Ergebnisse erkunden: Messen Sie die Entropie von Nachrichten, sehen Sie, wie Kompression sich dem theoretischen Limit annähert, beobachten Sie, wie fehlerkorrigierende Codes Daten aus dem Rauschen wiederherstellen, und berechnen Sie die Kapazität verrauschter Kanäle.