§ 3. Частный случай

Когда же имеет место равномерная сходимость частот к вероятностям? Рассмотрим простой случай: множество решающих правил конечно и состоит из правил:

В соответствие каждому решающему правилу может быть поставлено событие состоящее из тех пар на которых Таким образом, определено конечное число событий

Для каждого фиксированного события справедлив закон больших чисел (частота сходится к вероятности при неограниченном увеличении числа испытаний). Одним из конкретных выражений этого закона является оценка (неравенство Бернштейна)

Нас, однако, интересует равномерная сходимость, т. е. вероятность одновременного выполнения неравенств

Такая вероятность легко может быть оценена, коль скоро оценивается вероятность выполнения отдельно каждого неравенства (6.15), а именно:

Учитывая неравенство (6.15), получаем

Из неравенства (6.16) вытекает, что для конечного числа событий всегда имеет место равномерная сходимость частот появления событий к их вероятностям, т. е. справедливо

Потребуем теперь, чтобы вероятность выполнения события

не превосходила величину выполнялось неравенство

Как следует из оценки (6.16), неравенство (6.17), во всяком случае, выполнится, если величины будут связаны соотношением

Если разрешить равенство (6.18) относительно х, то для данных получится оценка максимального уклонения частоты от соответствующей вероятности в рассматриваемом классе событий

Если же разрешить равенство (6.18) относительно то будет найдено, какова должна быть длина обучающей последовательности, чтобы с вероятностью не меньшей можно было утверждать, что наибольшее уклонение частоты от вероятности по этому классу не превосходит

Итак, доказана теорема.

Теорема 6.1. Пусть множество решающих правил состоит из элементов, и пусть для решающих правил частоты ошибок на обучающей последовательности длины I равны Тогда с вероятностью можно утверждать, что одновременно для всех решающих правил выполнятся неравенства

Замечание. Так как неравенства справедливы для всех правил, то теорема 6.1 устанавливает доверительный интервал для качества решающего правила минимизирующего среди правил эмпирический риск. Он равен

В дальнейшем для нас важна будет верхняя грань: с вероятностью одновременно для всех решающих правил (в том числе и того, которое минимизирует эмпирический риск) справедлива оценка