9.8. Закон больших чисел

Если проделать большое число испытаний Бернулли (это значит, что успех или неудача являются случайной величиной X принимающей значения или 1 соответственно, и каждое испытание

не зависит от всех других испытаний), то можно исследовать отношение числа успехов к общему числу испытаний. При этом можно надеяться, что отношение будет стремиться к вероятности успеха при одном испытании. Для формальной постановки вопроса рассмотрим случайную величину принимающую значение 1 если испытание было успешным, и значение 0, если испытание было неудачным. Чему равно среднее арифметическое этих случайных величин? Выпишем формулу для математического ожидания этого среднего. Имеем

где а — математическое ожидание одного испытания.

Рассмотрим теперь дисперсию среднего арифметического. Имеем

поскольку с учетом (9.7.2) перекрестные члены равны нулю. Так как все испытания одинаковы, получаем

Теперь можно применить неравенство Чебышева

Это неравенство можно переписать

Теорема. Слабый закон больших чисел. Если независимые одинаково распределенные случайные величины со средним значением а и дисперсией то для сколь угодно малых существует такое целое число что при всех

с вероятностью, большей .

Эта теорема утверждает, что среднее арифметическое может быть сделано сколь угодно близким к математическому ожиданию а (по вероятности).

Для доказательства следует выбрать такое что [см. (9.8.1)] или

Поскольку эту теорему обычно понимают неправильно, прервем изложение и дадим ее интерпретацию. Прежде всего, случайные величины являются испытаниями Бернулли, т. е. отдельные

испытания независимы — испытания не запоминают того, что случилось в прошлом. Поэтому представление о законе больших чисел, как об утверждении того, что любая последовательность неудач будет позднее «скомпенсирована», является в корне неверным. В действительности, любое отклонение от среднего будет после большого числа испытаний «сглажено» (с большой вероятностью), а не скомпенсировано.

Далее, закон больших чисел не означает, что сумма становится близкой к математическому ожиданию, которое, конечно, равно пр? Например, при 10 бросаниях симметричной монеты можно ожидать выпадения 5 гербов, однако даже столь большое значение, как 8, не является неожиданным. При миллионе бросаний нельзя надеяться получить отклонение 3 (как это было при 8 гербах в 10 бросаниях) от среднего значения; лишь в процентном отношении с большой вероятностью происходит все более сильное приближение к среднему значению. Недоразумение возникает в случае, если не обращать внимания на то, где стоит . В действительности, стоит в знаменателе, а в таком случае с большой вероятностью разность между фактическим числом успехов и его математическим ожиданием, деленная на убывает при возрастании Однако сама разность между фактическим числом успехов и его математическим ожиданием может неограниченно расти при возрастании . В этом смысле закон больших чисел напоминает рассмотренную ранее формулу Стирлинга (см. табл. 9.3.1).

Поскольку закон больших чисел играет основную роль в доказательстве теоремы Шеннона, проиллюстрируем его экспериментально. Пусть вероятность некоторого события (успеха) равна Чему равна вероятность успехов в испытаниях Бернулли? Эти успехов могут произойти в любых из испытаний, т. е. различными способами; таким образом, вероятность к успехов (и, конечно, неудач) равна

Математическое ожидание числа успехов равно

На рис. 9.8.1, по горизонтали отложена величина так что распределение (9.8.3) сосредоточено вблизи значения равного математическому ожиданию успеха при одном испытании.

Для того чтобы скомпенсировать сжатие по горизонтальной оси, отложим величину, в раз большую функции (9.8.3), т. е.

Таким образом, площадь под кривой постоянна при разных На рис. 9.8.1 показаны распределения для Видно, что распределение сосредоточено вблизи и вероятность уменьшается в точках, находящихся далеко от На рис. 9.8.2 вертикальная ось удлинена, что позволило привести результаты для На кривой, соответствующей нанесены не все точки; если нанести все точки, то кривая будет довольно гладкой.

Рис. 9.8.1. Пример закона больших к чисел

Рис. 9.8.2. Пример закона больших чисел

Таким образом, видно, что если число испытаний растет, распределение сосредотачивается вблизи математического ожидания, а дисперсия убывает, как Например, при отклонение величины от среднего значения, равное 0,05, очень маловероятно. Вероятность нахождения в любой точке, отличной от может быть сделана сколь угодно малой выбором достаточно большого

Эта теорема будет использована при кодировании сообщений для расширений очень большой кратности. Можно ожидать, что распределение деленной на разности между числом ошибок, появившихся при передаче блока символов, и математическим ожиданием числа ошибок может быть сделано похожим на очень острый пик при достаточно большом Напомним, что это утверждение должно быть верным с вероятностью, близкой к 1!

Задача

9.8.1. Изобразите аналогичные кривые для