§ 3. Необходимые и достаточные условия равномерной сходимости (доказательство достаточности)

Введенное в предыдущих параграфах понятие энтропии системы событий позволяет полностью охарактеризовать те случаи, когда имеет место равномерная сходимость частот к вероятностям по классу событий. Оказывается, что для этого необходимо и достаточно, чтобы энтропия на символ последовательности стремилась к нулю с ростом длины выборки.

Теорема 11.1. Допустим, что функции ,  и  измеримы при всех . Тогда

a) если , то имеет место равномерная сходимость частот к вероятностям с вероятностью 1;

б) если , то существует число , не зависящее от , такое, что

,

т. е. вероятность того, что максимальное по классу  уклонение частоты от вероятности превзойдет , стремится к 1.

Таким образом, необходимым и достаточным условием равномерной сходимости частот к вероятностям по классу событий в этом смысле является условие

.

Доказательство достаточности (утверждения а)). Это доказательство аналогично выводу достаточных условий главы X.

Итак, пусть

.

Оценим величину

.

В силу основной леммы (§ 5 главы X)

.

В свою очередь, как было показано при доказательстве теоремы 10.2,

,

где  – всевозможные перестановки последовательности . Кроме того,

.

Очевидно также, что .

Разобьем область интегрирования на область , где

,

и область , где

.

Тогда, заменяя  мажорирующими выражениями, получим

.                 (11.12)

В обозначениях леммы 2 предыдущего параграфа

,

поскольку

.

Учтем также, что в области

.

Тогда

.              (11.13)

Первый член суммы стремится при  к нулю экспоненциально, второй член также стремится к нулю согласно лемме 2. Более того, поскольку в соответствии с этой леммой

,

то и

,

а следовательно, и

.

Отсюда следует равномерная сходимость частот к вероятностям почти наверное.

Утверждение а) доказано (заметим, что в оценке (11.13) только член  зависит от распределения).