Теория информации была создана Клодом Шенноном в его основополагающей статье 1948 года «Математическая теория связи». Одним ударом Шеннон дал математическое определение информации (как энтропии), доказал, что сжатие данных имеет фундаментальный предел, и показал, что надёжная связь по зашумлённым каналам возможна — вплоть до максимальной скорости, называемой пропускной способностью канала.
Теория Шеннона лежит в основе всей цифровой эпохи. Сжатие данных (ZIP, MP3, JPEG), коды с исправлением ошибок (в каждом телефонном звонке, жёстком диске и спутниковом канале), криптография и даже машинное обучение — всё это основано на теоретико-информационных принципах. Бит — базовая единица Шеннона — стал атомом цифрового мира.
Эти симуляции позволят вам исследовать ключевые результаты Шеннона: измерять энтропию сообщений, наблюдать, как сжатие приближается к теоретическому пределу, видеть, как коды с исправлением ошибок восстанавливают данные из шума, и вычислять пропускную способность зашумлённых каналов.