§ 3. Закон больших чисел

Пусть случайные величины. Если при некоторых постоянных предел

сушествует в смысле какой-нибудь сходимости, то говорят, что последовательность удовлетворяет закону больших чисел (с центрирующими константами и нормирующими константами Закон больших чисел называют слабым законом больших чисел, если сходимость в (3.1) является сходимостью по вероятности, и усиленным законом больших чисел, если она является сходимостью с вероятностью 1. Разумеется, всегда можно выбрать постоянные настолько большими, чтобы предел в (3.1) существовал с вероятностью 1 и равнялся 0.

В настоящем параграфе задача упрощается тем, что величины предполагаются взаимно независимыми. В качестве первого примера, показывающего важность этого предположения, заметим, что если (или даже если и если предел а: в (3.1) существует в смысле сходимости по вероятности, то случайная величина х не меняется при изменении значений конечного числа величин у Следовательно, в соответствии с законом нуля или единицы (теорема 1.1) случайная величина х равна с вероятностью 1 тождественной постоянной. Выбирая соответствующим образом константы эту постоянную при желании можно сделать равной нулю.

Теорема 3.1. Пусть взаимно независимые случайные величины с характеристическими функциями и пусть любые не равные нулю постоянные. Тогда для того, чтобы существовали постоянные такие, что

необходимо и достаточно, чтобы равномерно в каждом конечном интервале значений выполнялось соотношение

Если (3.2) выполнено, то распределение случайной величины, стоящей под знаком предела, сходится при к распределению, сосредоточенному в точке 0; следовательно, равномерно в каждом конечном интервале значений

и отсюда вытекает (3.3). Обратно, предположим, что выполнено (3.3). Пусть медиана случайной величины Положим

Гогда в силу неравенства (11.8) гл. I при любом

причем правая часть вследствие (3.3) стремится к нулю при . Отметим, что предположение о равномерности стремления к пределу в условии (3.3) не было использовано при доказательстве достаточности этого условия. Мы будем применять иногда в дальнейшем следующий простой факт, не выделяя его каждый раз особо: если существует то Действительно, в этом случае

Если случайные величины, то пределы здесь могут пониматься и как и как

Самым обычным является случай, когда и предел в (3.1) равен 0. Если это так и если существует предел

то мы можем положить и тогда предел в (3.1) окажется равным пределу (3.4). Важной задачей является нахождение условий, при которых закон больших чисел выполнен с такими константами. Например, предположим, что взаимно независимые случайные величины с дисперсиями Тогда среднее имеет математическое ожидание и дисперсию, равные

Следовательно, если

что имеет место, например, при то дисперсия величины стремится к нулю, т. е.

Итак, в этом случае при выполнен закон больших чисел в смысле сходимости в среднем (а эта сходимость влечет за собой и сходимость по вероятности). Верно и обратное: из (3.7) следует (3.6). Мы здесь почти не использовали тот факт, что величины взаимно независимы, и полученный результат оказывается на самом деле не сильнее соответствующего результата в слабом смысле (теорема 5.1 гл. IV), когда предполагается лишь, что взаимно ортогональны. Можно, однако, доказать и более сильные теоремы. Мы докажем сначала частичное обращение предыдущего результата, причем для полноты мы сформулируем снова и прямое утверждение.

Теорема 3.2. Пусть — взаимно независимые случайные величины с конечными дисперсиями Тогда соотношения (3.7) и (3.6) могут выполняться только одновременно. Далее,

тогда и только тогда, когда выполнено (3.6) и когда

Если существуют постоянные такие, что

то

тогда и только тогда, когда выполнено (3.8).

Эквивалентность утверждений (3.6) и (3.7) уже была отмечена раньше. Эквивалентность утверждения (3.8) и утверждения (3.6), взятого вместе с (3.9), вытекает из того, что

Из (38) всегда следует более слабое утверждение (3.8). Пусть теперь выполнено (3.8) и Обозначим через характеристическую функцию величины Тогда в силу теоремы 3.1

равномерно в каждом конечном интервале значений Применив неравенство (11.14) гл. I к получим, что

Отсюда вытекает (3.6), а следовательно, и (3.7). Так как из сходимости в среднем следует сходимость по вероятности, то из (3.7) и (3.8) вытекает, что

а из этого соотношения и из (3.7) следует и искомое (3.8).

Теорема 3.3. Пусть — взаимно независимые случайные величины и с — любая положительная постоянная. Если

и если случайные величины определенные равенствами

имеют дисперсии такие, что

то

для некоторых постоянных удовлетворяющих условию

Обратно, если

то при каждом с верно (3.10) и (3.11).

Чтобы доказать первую половину теоремы, заметим, что

так что в силу (3.10)

Далее, из (3.11) следует (по теореме 3.2), что

Из этих двух соотношений вытекает, что

т. е. что при соответственным образом выбранных а; верно (3.12). Из (3.12), в свою очередь, следует, что

Так как, согласно (3.10), то отсюда вытекает и (3.13).

Обратно, предположим, что выполнено (3.12). Тогда если характеристическая функция случайной величины то равномерно в каждом конечном интервале значений

Пусть медиана случайной величины Тогда, так как в силу то

Из неравенства (11.8) гл. I и из (3.15) вытекает, что

а отсюда и из предыдущего соотношения следует при утверждение (3.10). Далее, если определены так же, как в формулировке теоремы, то, как мы уже видели выше, из (3.10) вытекает (3.14), а из (3.12) и (3.14) следует, что

Соображения, по которым в доказательстве теоремы 3.2 был сделан переход от сходимости по вероятности (3.8) к сходимости в среднем (3.8), применимы без изменения в данном случае и приводят к (3.11).

Несколько усилив условие (3.6), можно перейти от сходимости по вероятности и сходимости в среднем к более сильной сходимости с вероятностью 1. Для того чтобы упростить обозначения, мы положим

Теорема 3.4. Пусть взаимно независимые случайные величины с

Тогда если то с вероятностью 1 1

В сплу теоремы 2.3 из наших предположений следует, что ряд

сходится в среднем и с вероятностью 1. Далее, если то

При второй член в правой части сходится к как в среднем, так и с вероятностью 1. Так как из обычной сходимости, а также и из сходимости в среднем некоторой последовательности следует, что в том же смысле и к тому же пределу сходятся средние первых членов этой последовательности (суммирование по Чезаро), то к сходится и первый член в правой части предыдущего равенства. Следовательно, предел левой части этого равенства существует как в среднем, так и с вероятностью 1 и равен 0.

Несмотря на то, что при доказательстве этой теоремы мы существенно использовали предположение о взаимной независимости величин при немного более сильных условиях на последовательность справедлив вариант в широком смысле этой теоремы (гл. IV, теорема 5.2), в котором предполагается лишь, что величины у, взаимно ортогональны.

Для сходимости ряда достаточно выполнения условия

1; поэтому классические примеры закона больших чисел являются частными случаями теоремы 3.4. Например, предположим, что

Тогда

так что, согласно теореме 3.4, с вероятностью 1

Если все равны между собой, (схема Бернулли), то

если существует (схема Пуассона), то это соотношение по прежнему остается в силе. Величина, стоящая под знаком предела, на обычном языке схемы Бернуллп называется частотой успехов (числом успехов за испытаний, поделенным на ), и рассматриваемая теорема в случае схемы Бернулли утверждает, что частота успехов при с вероятностью 1 приближается к вероятности успеха в отдельном испытании.