§ 6. Условия равномерной сходимости частот появления событий к их вероятностям

Обобщение теоремы Гливенко и построение теории равномерной сходимости частот появления событий к их вероятностям стали возможны благодаря введению более тонкой меры разнообразия класса функций, чем число функций в классе. Вот как она определяется.

Пусть задана система  решающих функций . Рассмотрим класс событий

.

Рассмотрим, далее, выборку . Известно, что, вообще говоря, эта выборка может быть разделена на два класса  способами. Однако нас будут интересовать только те способы разделения выборки, которые могут быть реализованы с помощью решающих правил . Число таких разделений зависит как от класса решающих правил, так и от состава выборки. Будем обозначать это число

.

Так как  – случайная и независимая выборка, то число разделений – величина случайная, т. е. случайной величиной будет .

Разнообразие класса решающих правил будем изменять величиной математического ожидания . Эту величину будем называть энтропией класса  решающих правил на выборках длины  и обозначать

.                   (5.8)

Оказывается, что для существования равномерной сходимости частот  появления событий к их вероятностям  по классу событий  необходимо и достаточно, чтобы последовательность

стремилась к нулю при неограниченном увеличении длины выборки . Стремление к нулю отношения  означает, что класс решающих правил состоит из «не слишком разнообразного множества функций». Доказательство этих утверждений дано в главах X и XI.

Как и всякие исчерпывающие условия, приведенные необходимые и достаточные условия равномерной сходимости частот появления событий к их вероятностям используют довольно тонкие понятия. На практике проверка таких условий представляет значительные трудности. В нашем случае трудности связаны с тем, что характер распределения неизвестен, в то время как проверке подвергается свойство энтропии, которая конструктируется с помощью распределения .

Поэтому для использования на практике условий равномерной сходимости целесообразно из данных условий получить более грубые достаточные условия, которые не зависели бы от свойств распределения . Такие условия могут быть получены абстрагированием от свойств распределения. Иначе говоря, на практике нас будут интересовать те условия, которым должен удовлетворять класс решающих правил, чтобы при любой функции распределения можно было гарантировать существование равномерной сходимости.

Огрубление необходимых и достаточных условий заключается в том, что вместо энтропии функции  рассматривается логарифм функции

,

где максимум определяется по всем возможным выборкам длины . Функцию  назовем функцией роста класса .

Функция роста построена так, что она не зависит от распределения , и, кроме того, всегда выполняется неравенство

.

Теперь, если окажется, что величина

стремится к нулю с ростом , то отношение

и подавно устремится к нулю. Поэтому условие

является достаточным условием существования равномерной сходимости. Это условие может быть легко проверено для различных классов решающих правил.