§ 2. Определение равномерной сходимости частот к вероятностям

Согласно классической теореме Бернулли, частота появления некоторого события  сходится (по вероятности) в последовательности независимых испытаний к вероятности этого события. Выше мы убедились, что возникает необходимость судить одновременно о вероятностях событий целого класса  по одной и той же выборке. При этом требуется, чтобы частота событий сходилась к вероятности равномерно по всем событиям класса . Точнее, требуется, чтобы вероятность того, что максимальное по классу уклонение частоты от вероятности превзойдет заданную сколь угодно малую положительную константу, стремилась к нулю при неограниченном увеличении числа испытаний.

Оказывается, что даже в простейших примерах такая равномерная сходимость может не иметь места. Поэтому хотелось бы найти критерий, по которому можно было бы судить, есть ли такая сходимость или же ее нет.

В этой главе будут найдены достаточные условия такой равномерной сходимости, не зависящие от свойства распределения, и дана оценка скорости такой сходимости. В главе XI мы введем необходимые и достаточные условия равномерной сходимости частоты к вероятностям. Эти условия уже будут зависеть от свойств распределения.

Пусть  – множество элементарных событий, на котором задана вероятностная мера . Пусть  – некоторая совокупность случайных событий, т. е. подмножеств пространства , измеримых относительно меры  ( включается в -алгебру случайных событий, но не обязательно совпадает с ней). Обозначим через  пространство выборок из  длины . Тот факт, что выборка является повторной, т. е. получена в последовательности независимых испытаний при неизменном распределении, формализуется заданием вероятностной продукт-меры на  из условия

,

где  – измеримые подмножества .

Для каждой выборки  и события  определена частота выпадения событий , равная отношению числа  элементов выборки, принадлежащих , к общей длине выборки

.

Теорема Бернулли утверждает, что при фиксированном событии  уклонение частоты от вероятности стремится к нулю (по вероятности) с ростом объема выборки, т. е. для любого  справедливо:

.

Нас же будет интересовать максимальное по классу  уклонение частоты от вероятности:

.

Величина  является функцией точки в пространстве . Будем предполагать, что эта функция измерима относительно меры в , т. е. что  есть случайная величина.

Если величина  стремится по вероятности к нулю при неограниченном увеличении длины выборки , то говорят, что частота событий  стремится (по вероятности) к вероятности этих событий равномерно по классу . Дальнейшие теоремы посвящены оценкам вероятности события

и выяснению условий, когда для любого  справедливо

.

В отличие от обычного закона больших чисел равномерная сходимость частот к вероятностям может иметь или не иметь места в зависимости от того, как выбрано множество  и задана вероятностная мера . Приведем простейший пример, когда равномерной сходимости нет.

Пусть  – интервал  и на нем задано равномерное распределение вероятностей, т. е.

; .

В качестве системы  рассмотрим любую совокупность событий (измеримых подмножеств ), содержащую все конечные подмножества интервала . Очевидно, что вероятностная мера  каждого события, состоящего лишь из конечного числа элементов, в нашем случае равна нулю.

Пусть теперь дана выборка . Рассмотрим конечное множество , состоящее из тех и только тех элементов , которые встретились в этой выборке. Очевидно, что

,

в то время как .

Учитывая, что всегда

,

получаем

.

Это соотношение выполняется тождественно для любой выборки любой длины. Таким образом, в данном случае величина

и не стремится к нулю ни в каком смысле.

Совершенно аналогично показывается, что

и в более общем случае, когда  есть -мерное евклидово пространство,  – любое распределение, обладающее плотностью, a  – любая система событий, включающая все события, состоящие из конечного числа элементов. В частности, при этих предположениях в качестве  можно взять полную систему событий, составляющую всю -алгебру; тогда

и равномерной сходимости нет. Таким образом, во многих случаях равномерная сходимость частот к вероятностям не имеет места для полной системы событий. Для того чтобы такая сходимость происходила, приходится в качестве  рассматривать более узкие (не полные) системы событий.

Примеры систем , для которых выполняются условия равномерной сходимости частот к вероятностям, будут приведены ниже. Отметим лишь то, что для конечных систем , содержащих  событий, равномерная сходимость всегда имеет место. В самом деле, из усиленного закона больших чисел известно, что для каждого  последовательность

стремится к нулю с вероятностью единица при . Поскольку число событий в  конечно,

и также стремится к нулю с вероятностью 1.

Выведем оценку вероятности

для случая конечной системы . Величина  распределена по биномиальному закону

.

Поэтому

,

где штрих у суммы означает, что  пробегает значения, удовлетворяющие неравенству

.

Событие  означает, что по крайней мере для одного из событий  справедливо . Поэтому по теореме о сложении вероятностей

.                     (10.6)

В силу интегральной теоремы Муавра–Лапласа правая часть неравенства (10.6) при больших  может быть оценена так:

,

где

.

Величина  достигает максимального значения при  и равна в этом случае . Поэтому

.

При  получаем

.                      (10.7)

Таким образом, остается выяснить, для каких бесконечных систем  выполняется равномерная сходимость частот к вероятностям.

Основная идея выводимых ниже условий равномерной сходимости связана с тем, что и в том случае, когда система  бесконечна, лишь конечное число групп событий различимо на конечной выборке. Правда, это число не постоянно и зависит от выборки. Грубо говоря, идея состоит в том, чтобы подставить в оценку (10.7) переменное число , зависящее от выборки. Если при этом  возрастает с длиной выборки достаточно медленно (медленнее любой показательной функции), то правая часть оценки (10.7) при  стремится к нулю при любом  и, следовательно, равномерная сходимость частот к вероятностям имеет место.