§ 3. Обобщение на класс с бесконечным числом элементов

Пусть теперь класс состоит из бесконечного числа элементов и в то же время допускает покрытие конечной -сетью в метрике С или метрике По-прежнему справедливо ограничение (7.6). Покажем, что в этом случае справедлива оценка качества правила, минимизирующего эмпирический риск, аналогичная той, которая следует из теоремы 7.1.

Теорема 7.2. Пусть множество функций покрыто конечной -сетью Тогда с вероятностью качество функции минимизирующей эмпирический риск, оценивается величиной

ближайшая к функция -сети.

Доказательство теоремы 7.2 проводится по той же схеме, что и доказательство теоремы 6.4.

1°. На множестве функций выделим конечную -сеть, состоящую из элементов

Согласно теореме 7.1 с вероятностью одновременно для всех элементов -сети справедливы неравенства

2°. Оценим величину уклонения функционалов для функций отстоящих друг

от друга не более чем на найдем наименьшее при котором выполнится неравенство

если только окажутся выполненными условия

Для этого проведем преобразования:

Здесь мы воспользовались неравенством Коши и оценкой (7.10). Далее воспользуемся выпуклостью функции :

Таким образом, получаем

Но, согласно условию, Окончательно получаем

3°. Пусть теперь — функция, доставляющая минимум эмпирическому риску. Выберем ближайшую к функцию -сети:

Для этой функции с вероятностью выполнится неравенство (7.9). Усилим его, воспользовавшись оценкой

(7.11а). В результате получим

Теорема доказана.

Замечания. Теорема справедлива для любой величины 8 (заданной до момента появления выборки). Поэтому величину можно выбрать из условия минимума выражения

Заметим также, что для любого множества и любого 8 минимальное число элементов -сети, построенной в метрике не больше минимального числа элементов -сети в метрике С. Поэтому оценка (7.12) будет более точной, если -сеть строится в метрике Однако, для того чтобы задать эту метрику, надо знать плотность