ГЛАВА X. ВОССТАНОВЛЕНИЕ ЗНАЧЕНИЙ ФУНКЦИИ В ЗАДАННЫХ ТОЧКАХ

§ 1. Схема минимизации суммарного риска

В условиях малых выборок

целесообразно различать две задачи восстановления:

1. Восстановление в классе функциональной зависимости

2. Восстановление в значений функции в заданных точках

Казалось бы, в задаче восстановления значений функции в заданных точках (10.2) нет глубокого содержания. Существует «естественный» путь ее решения — восстановить по имеющимся эмпирическим данным (10.1) функциональную зависимость а и с ее помощью определить значения функции в точках (10.2)

т. е. получить решение второй задачи, используя решение первой.

Однако такой путь восстановления значений функции часто не является лучшим, ведь здесь решение сравнительно простой задачи — восстановление чисел (значений функции) ставится в зависимость от решения значительно более сложной задачи — восстановления функции (континуума чисел, содержащих эти чисел).

Проблема как раз и заключается в том, чтобы в условиях дефицита информации использовать информацию для решения нужной нам, а не более общей задачи. Не исключено, что имеющегося объема информации может оказаться достаточно, чтобы удовлетворительно восстановить чисел, но может не хватить для того, чтобы восстановить Функцию во всей области ее определения,

Следует заметить, что на практике большей частью возникает потребность в определении значений функции в заданных точках, а не самой функциональной зависимости. Как правило, (а в задаче распознавания образов всегда) функциональная зависимость используется лишь для того, чтобы определить значение функции в некоторых нужных нам точках.

Итак, будем различать две постановки задачи восстановления: восстановление функции и восстановление значений функции в заданных точках.

В главе I мы формализовали постановку задачи восстановления функциональной зависимости с помощью схемы минимизации среднего риска. В этом параграфе мы формализуем постановку задачи восстановления значений функции в заданных точках с помощью схемы, которую будем называть схемой минимизации суммарного риска. Считается, что задано множество

состоящее из векторов (полная выборка векторов). Существует функция которая ставит в соответствие каждому вектору множества (10.3) число у.

Таким образом, для векторов (10.3) определено значений

Из множества (10.3) случайно отбираются I векторов для которых указываются соответствующие реализации Образованное множество пар

по аналогии с задачей восстановления функции будем называть обучающей выборкой.

Множество векторов

будем называть рабочей выборкой.

Требуется по элементам обучающей и рабочей выборок среди заданного множества функций (этому множеству вовсе не обязана принадлежать найти такую функцию а, которая с заданной вероятностью минимизирует суммарный риск прогноза значений

функции на элементах рабочей выборки, т. е. с заданной вероятностью доставляет функционалу

значение, близкое к минимальному.

Назовем такую постановку задачи восстановления значений функции в заданных точках постановкой I и рассмотрим еще одну постановку этой задачи—постановку II.

Пусть на множестве пар задано распределение вероятностей Из этого множества в соответствии с случайно и независимо выбирается I пар

образующих обучающую последовательность. Затем точно так же выбираются еще пар

Требуется найти алгоритм А, который по обучающей последовательности и рабочей выборке выбирал бы в такую функцию

которая доставляет функционалу

значение, близкое к минимальному.

Справедлива следующая теорема о взаимосвязи этих постановок. Теорема 10. Если для некоторого алгоритма А доказано, что в постановке I с вероятностью 1—г) уклонение между риском на обучающей и рабочей выборках не зависит от состава полной выборки и не превосходит к, то с той же вероятностью в постановке II уклонение между аналогичными величинами рисков не превосходит х. Доказательство. Обозначим

Рассмотрим вторую постановку задачи и вычислим вероятность уклониться от нуля более чем на х величине

где

Пусть оператор перестановки выборки Тогда справедливо равенство

Выражение, заключенное в фигурные скобки, есть величина, оцениваемая в постановке Пусть она не превосходит Тогда получим

Теорема доказана.

В дальнейшем мы будем рассматривать задачу восстановления значений функции в заданных точках в постановке Однако с помощью теоремы 9.1 все полученные результаты могут быть перенесены и на случай постановки II.

В этой главе используется терминология, связанная с восстановлением значений функции. Однако все полученные результаты верны и для более общего случая, когда реализации (10.4) определяются не функцией а условной плотностью и требуется по случайным реализациям в одних точках (10.5) прогнозировать с помощью функции из реализации в других (10.6).