Правило 80/20 и далее
В 1897 году итальянский экономист Вильфредо Парето заметил, что 80% земли Италии принадлежит 20% населения. Этот «принцип Парето» оказался частным случаем гораздо более глубокого математического паттерна: степенного распределения. Когда величина подчиняется P(x) ~ x^(-alpha), экстремальные значения — не редкие выбросы, а неотъемлемое свойство системы.
Замечательное открытие Ципфа
В 1949 году лингвист Джордж Ципф показал, что частоты слов следуют точному математическому закону: n-е по частоте слово встречается с частотой, пропорциональной 1/n. Слово «the» составляет около 7% всего английского текста, «of» — 3,5%, «and» — 2,8%. Та же ранго-частотная зависимость проявляется в размерах городов (Нью-Йорк примерно вдвое больше Лос-Анджелеса), доходах компаний и трафике веб-сайтов.
Тяжёлые хвосты меняют всё
Нормальные (гауссовы) распределения имеют тонкие хвосты — события далеко от среднего экспоненциально редки. Степенные законы имеют тяжёлые хвосты — экстремальные события лишь полиномиально редки, что делает их гораздо более частыми, чем подсказывает интуиция. Вот почему: сильнейшее землетрясение в миллионы раз мощнее среднего; богатейший человек в миллионы раз богаче медианного; а одна вирусная публикация может набрать больше просмотров, чем тысяча средних вместе взятых.
Попробуйте сами
Регулируйте показатель alpha и наблюдайте, как меняются ранго-размерный график и гистограмма. Меньший alpha означает более экстремальное неравенство. Переключайтесь между наборами данных, чтобы увидеть один и тот же математический закон, проявляющийся в совершенно разных областях. Коэффициент Джини и доля верхнего 1% количественно показывают, насколько неравными становятся величины со степенным распределением.