§ 6. О точности и надежности минимизации риска по эмпирическим данным

Итак, мы рассмотрели три основные задачи восстановления зависимостей по эмпирическим данным: задачу распознавания образов, восстановления регрессии,

интерпретации результатов косвенных экспериментов. В основе каждой из них лежала одна и та же общая схема — схема минимизации среднего риска по эмпирическим данным: необходимо найти а, минимизирующее функционал

если плотность распределения вероятностей неизвестна, но зато дана случайная независимая выборка длины

Более того, для всех трех задач была выбрана идентичная структура функции потерь

Таким образом, во всех случаях надо было найти функцию а, доставляющую минимум функционалу

если плотность неизвестна, но зато дана выборка полученная в результате случайных независимых испытаний согласно этой плотности. Правда, мы различали два варианта постановки задачи восстановления регрессии: когда плотность неизвестна (случай закрытого эксперимента) и когда плотность известна (случай открытого эксперимента). Но эти варианты постановок отличаются не принципиально, важно, что в обоих случаях совместная плотность неизвестна.

Мы уетановили, что разные задачи восстановления зависимостей различаются так, как различаются функции потерь при минимизации риска, и что в каждой задаче параметр а, доставляющий точный минимум соответствующему функционалу, определяет искомую функциональную зависимость.

Однако найти точный минимум функционала (1.15) по выборке фиксированного объема — задача, вообще говоря, невозможная — ведь любая выборка является только реализацией закона распределения вероятностей и никак не эквивалентна ему. Поэтому может стоять задача отыскания по выборке фиксированного объема не функции, доставляющей точный минимум функционалу (1.15), а функции, доставляющей функционалу величину, «близкую» к минимальной.

Более того, получение величины, «близкой» к минимальной, можно гарантировать не безусловно, а лишь с некоторой вероятностью (ведь при любой плотности не исключена вероятность того, что обучающая последовательность, полученная в случайных испытаниях, будет состоять из одной и той же пары элементов повторенной раз).

Таким образом, заданная точность минимизации среднего риска (1.15) по выборке фиксированного объема может быть достигнута лишь с некоторой надежностью.

Будем говорить, что значение функционала х-близко к минимальному если выполняется неравенство

Пусть теперь зафиксирован некоторый алгоритм который по выборке объема I определяет значение параметра Так как выборка случайная, то этот алгоритм будет определять случайную величину параметра а, которой соответствует случайное число

Будем говорить, что алгоритм А с надежностью доставляет функционалу значение -близкое к минимальному, если для заданного числа справедливо неравенство

При решении задачи минимизации среднего риска нашей целью является нахождение алгоритмов, которые на выборках фиксированного объема с заданной надежностью отыскивали бы функцию, доставляющую функционалу значение, наиболее близкое к минимальному.