§ 6. Две теоремы о равномерной сходимости

В этом параграфе мы докажем две из трех основных теорем, оценивающих скорость равномерной сходимости средних к математическим ожиданиям. Мы рассмотрим случай, когда множество функций состоит из конечного числа элементов, и случай, когда множество функций может быть покрыто конечной -сетью в метрике С или

При доказательстве обеих теорем будет существенно использован следующий факт: пусть некоторая функция а такова, что для нее выполняется условие

Тогда, если ограничение (7.16) задается для моментов то справедливо неравенство

где

Если ограничение (7.16) задается для то справедливо неравенство

Заметим, что при значение в (7.17) близко к единице. Большое значение величина принимает лишь, когда близко к 2.

Эти оценки будут получены как следствие из теоремы 7.6, приведенной в § 7.

Теорема 7.4. Пусть выполнено условие (7.15), а класс функций состоит из конечного числа элементов.

Тогда, если в ограничении то с вероятностью одновременно для всех функций из класса выполнятся неравенства

вела же то с вероятностью одновременно для всех функций выполнятся неравенства

где

Доказательство. Пусть в условии Воспользуемся неравенством

Оценим второй сомножитель правой части неравенства (7.22) с помощью (7.17). Получаем оценку

которая может быть записана в виде следующего эквивалентного утверждения: с вероятностью одновременно для всех справедливы неравенства

Первое утверждение теоремы доказано.

Аналогично для случая следует воспользоваться оценкой (7.19), используя которую в правой части

неравенства (7.22) получим оценку скорости равномерной сходимости, которая в эквивалентной форме и является утверждением теоремы.

Теорема 7.5. Пусть выполнено условие (7.15), и пусть множество может быть покрыто конечной -сетью. Тогда с вероятностью можно утверждать, что качество функции доставляющей минимум эмпирическому риску, оценивается величиной

где обозначено: ближайший к элемент -сети,

Замечание. Теорема 7.5 справедлива для любого 8, задающего -сеть, выбранного априорно, т. е. до того, как реализовалась случайная выборка.

В частности, 8 может быть выбрано из условия минимума выражения

где с — некоторая константа. Разумно в качестве с выбирать величину, близкую к минимуму функционала Априорная информация о величине используется, таким образом, для выбора подходящей величины 8.

Доказательство этой теоремы, по существу, повторяет доказательство теоремы 7.2.

1°. Выберем произвольную -сеть. При согласно теореме 7.4, с вероятностью одновременно для всех элементов -сети выполнятся неравенства

2°. Согласно оценке (7.11), полученной при доказательстве теоремы 7.2, значения функционалов для функций отстоящих друг от друга в метрике С или на величину, меньшую уклонятся на величину, не превосходящую

3°. Будем различать два случая: случай, когда и случай, когда

В первом случае из (7.23) и (7.24) следует, что с вероятностью справедлива оценка

Во втором случае с вероятностью оценка

4°. Разрешим неравенство (7.25) относительно

Учитывая (7.23), убеждаемся, что оценка (7.26) справедлива и в случае (7.25а).

Аналогично доказывается теорема и для Замечание. Так же как и в теореме 7.2, оценка (7.26) будет меньше (меньше величина если -сеть строится в метрике т. е. в случае, когда используется информация о плотности