§ 2. Метод упорядоченной минимизации суммарного риска

Решать задачу восстановления значений функции в заданных точках будем с помощью метода упорядоченной минимизации риска.

В следующих двух параграфах мы получим оценки скорости равномерного относительного уклонения средних в двух подвыборках.

С помощью этих оценок построим равномерные по классу оценки суммарного риска по величинам эмпирического риска, аналогичные тем, которые использовались в предыдущих главах при построении упорядоченной минимизации среднего риска.

Мы установим, что для множества характеристических функций емкости (в задаче распознавания образов) с вероятностью имеет место оценка вида

(для этой задачи приняты обозначения а для множества функций емкости произвольной природы с вероятностью имеет место оценка вида

Теперь, если на классе функций задать структуру

то можно, минимизируя правую часть неравенства (10.8) (неравенства (10.9)), отыскать такой элемент S и такую функцию на которых достигается гарантированный минимум оценки суммарного риска. С помощью функции вычисляются значения в точках рабочей выборки. Внешне эта схема ничем не отличается от рассмотренной в главе VIII.

Однако в схеме упорядоченной минимизации суммарного риска есть особенность, которая и определяет разницу в решениях задач восстановления функции и восстановления значений функции в заданных точках.

Дело в том, что упорядочение функций класса должно быть проведено априорно. Это требование имеет разный смысл для восстановления функции и восстановления значений функции.

Для задачи восстановления функции оно означает, что необходимо, зная класс функций и область определения функции, задать структуру на

Для задачи восстановления значений функции это требование означает, что необходимо задать структуру на зная класс функций и полную выборку

Разница заключается в том, что для полной выборки (10.10) множество функций распадается на множество классов эквивалентности. Это множество может быть изучено, и структура на может быть задана на классах эквивалентности, образуя более содержательный принцип упорядочения, чем при восстановлении функции.

Например, множество характеристических функций на полной выборке (10.10) распадается на конечное число классов эквивалентности. Две характеристические функции эквивалентны на полной выборке, если они одинаково делят эту выборку на две подвыборки (принимают на (10.10) одни и те же значения). В этом случае имеет смысл задавать структуру не на исходном множестве функции, а на конечном числе классов эквивалентности.

Ниже при восстановлении значений функции в заданных точках мы рассмотрим три разные идеи определения и упорядочения классов эквивалентности и каждую из них реализуем как для восстановления значений характеристической функции, так и для восстановления значения функции произвольной природы.

Однако прежде получим оценки, которые составят основу метода упорядоченной минимизации суммарного риска.