§ 2. Оценка «скользящий контроль»

Оценим качество решающего правила минимизирующего на заданной последовательности

эмпирический риск

с помощью следующего приема. Исключим из обучающей последовательности первую пару и найдем функцию, минимизирующую эмпирический риск на оставшихся элементах обучающей последовательности. Пусть эта функция есть

Здесь знак указывает на то, что из обучающей последовательности была исключена пара Вычислим величину уклонения на исключенной паре

Затем из обучающей последовательности исключим вторую пару (первая пара остается в последовательности) и вычислим уклонение

Так вычислим уклонение для всех пар. Образуем величину

и примем ее за оценку качества функции минимизирующей эмпирический риск (8.11):

Такую процедуру оценивания назовем «скользящий контроль».

Справедлива

Теорема 8.1. Оценка «скользящий контроль» является несмещенной, т. е.

Доказательство. Доказательством этой теоремы служит следующая цепочка преобразований:

Теорема доказана.

Замечание. При доказательстве теоремы мы нигде не использовали свойства функции Поэтому процедура «скользящий контроль» определяет несмещенные оценки качества как при восстановлении характеристической функции, так и при восстановлении произвольной функциональной зависимости.

Свойство несмещенности, однако, недостаточно характеризует оценку. Необходимо знать еще и дисперсию

оценки. Если бы дисперсия оценки Т была известна, то можно было бы оценить качество решающего правила, минимизирующего эмпирический риск на выборках длины А именно: с вероятностью справедливо неравенство

где надежность, с которой требуется выполнение неравенства (8.13). (Оценка (8.13) следует из теоремы 8.1 и неравенства Чебышева

Однако вычислить дисперсию оценки «скользящий контроль» в достаточно общей постановке не удается. Поэтому применение процедуры «скользящий контроль» для оценки качества алгоритмов, минимизирующих эмпирический риск, связано с гипотезой о том, что при объеме выборки, в несколько раз превосходящем величину емкости класса функции, дисперсия оценки мала (имеет порядок а не