§ 7. Несмещенность оценки скользящего контроля

Покажем, что оценки скользящего контроля являются несмещенными, т. е. математическое ожидание результата контроля равно истинной величине качества. Для удобства обозначим через

решающее правило, найденное по выборке длины  через

качество решающего правила, найденного по выборке .

Кроме того, введем обозначения

,

.

Здесь  – выборка, полученная из  исключением элемента .

Нам надо показать, что

,

где  – символ математического ожидания. Доказательством этого утверждения является следующая цепочка преобразований:

.

Однако свойство несмещенности оценки недостаточно полно характеризует оценку. Необходимо знать еще и дисперсию оценки . В случае, когда известна дисперсия оценки скользящего контроля, можно оценить сверху качество решающего правила:

,                       (6.5)

где  – оценка скользящего контроля, ,  – дисперсия оценки,  – константа, зависящая от надежности, с которой требуется выполнение (6.5).

Есть основания полагать (и многочисленные эксперименты это подтверждают), что для большинства практически важных случаев дисперсия оценки «скользящий контроль» стремится к нулю с ростом  примерно так же быстро, как дисперсия «экзамена», но строгого доказательства этого утверждения не известно. Любопытно, что существуют примеры алгоритмов обучения, когда оно неверно [45], хотя, видимо, для всех «разумных» алгоритмов обучения это утверждение справедливо.

Таким образом, алгоритмы выбора лучшего решающего правила по критерию «скользящего контроля» в настоящее время являются эвристическими и будут оставаться таковыми до тех пор, пока не удастся получить оценку дисперсии «скользящего контроля». Отыскание дисперсии оценки метода «скользящего контроля» является одной из наиболее актуальных задач не только теории обучения распознаванию образов, но и теоретической статистики. Знание этой оценки позволит выбрать настоящее правило, минимизирующее верхнюю оценку величины р, и тем самым позволит гарантировать определенное качество выбранному решающему правилу. В дальнейшем будут рассмотрены алгоритмы второго уровня, использующие лишь оценки типа (6.4).

Для того чтобы задать алгоритмы упорядоченной минимизации риска, нам осталось определить способы упорядочения классов решающих правил. Ограничимся исследованием принципов упорядочения линейных решающих правил.