§ 2. Частный случай

Как и раньше, начнем с простого случая: множество функций состоит из конечного числа элементов

Для этого случая справедливо неравенство

В главе VI в аналогичной ситуации при оценке скорости равномерной сходимости частот появления событий к их вероятностям использовалась нетривиальная оценка второго сомножителя. Здесь же нетривиальная оценка сомножителя

вообще говоря, невозможна — случайная величина (а может иметь «большие выбросы», и поэтому ее отклонение от среднего может быть любым. В главе 11 мы уже сталкивались с ситуацией, в которой для получения гарантированной оценки математического ожидания по величине эмпирического среднего необходимо было учесть меру «возможного выброса». В частности, было показано (см. гл. И, § 2), что для этого достаточно знать либо оценку величины возможных потерь

либо оценку относительной величины дисперсии потерь

Таким образом, для получения оценок скорости равномерной сходимости средних к математическим ожиданиям должна быть использована априорная информация о величине возможных выбросов. Заметим, что при решении задачи обучения распознаванию образов такая проблема не возникала — согласно постановке в этой задаче величина функции потерь не превышает единицу, т. е. априорная информация о выбросах содержится в самой постановке.

В этой главе мы используем оба типа априорной информации о выбросах и для каждого из них получим оценку скорости равномерной сходимости.

Наиболее простым условием, при котором возможно получение оценки скорости равномерной сходимости средних к математическим ожиданиям, является условие равномерной ограниченности потерь

Пусть имеет место неравенство (7.6). Покажем, что в этом случае справедлива оценка

Для получения этой оценки запишем функционалы с помощью интегралов Лебега:

где через обозначена частота события вычисленная по обучающей

последовательности (7.2). Обозначим событие

через Тогда, согласно (7.7),

Таким образом,

Рассмотрим теперь класс событий

где неотрицательная величина.

Очевидно, этот класс содержит события откуда следует

И задача свелась к оценке равномерной сходимости частот к вероятностям по классу событий (с фиксированными значениями

Используя результаты предыдущей главы, оценим скорость равномерной сходимости частот к вероятностям по классу событий

Для этого оценим функцию роста Так как с помощью правил

(а — фиксировано) всеми возможными способами можно делить лишь одну точку то, согласно теореме 6.6, справедливо

Следовательно, используя теорему Приложения к гл. VI, получим

Правая часть неравенства не зависит от параметра а. Поэтому наряду с (7.8) справедливо и более сильное утверждение

Теперь, возвращаясь к оценке (7.5), получаем

Потребуем, чтобы эта вероятность равнялась

Для этого уклонение к должно быть не меньше

Полученный результат может быть сформулирован в виде следующей теоремы.

Теорема 7.1. Пусть класс состоит из функций, для которых величины потерь в области равномерно ограничены константой Тогда с вероятностью можно утверждать, что одновременно для всех функций имеет место неравенство

Замечание. Теорема справедлива одновременно для всех функций, в том числе и для той

которая доставляет минимум величине эмпирического риска. Таким образом, имеет место неравенство

Итак, если функция потерь равномерно ограничена, а число функций в классе конечно, то имеет место равномерная сходимость средних к их математическим ожиданиям. Теорема 7.1 является прямым обобщением теоремы 6.1.