§ 8. Селекция выборки для восстановления значений произвольной функции

В главе VIII мы установили, что при восстановлении нехарактеристической функции селекция обучающей последовательности может привести к отысканию функции с меньшей гарантированной величиной среднего риска.

В схеме минимизации суммарного риска селекция полной выборки может привести к еще большему эффекту.

Для линейных по параметрам функций этот дополнительный эффект возникает потому, что исключение части векторов полной выборки меняет геометрию расположения векторов, вследствие чего может быть осуществлено более содержательное упорядочение класса функций

Итак, пусть задана полная выборка

Рассмотрим различных подмножеств каждое из которых получено исключением из (10.50) не более элементов.

В дальнейшем будем предполагать, что для всех подмножеств выполняются условия (10.16). Пусть теперь на исходном множестве (10.50) определена обучающая последовательность

и рабочая выборка

Обучающая и рабочая выборки (10.51) и (10.52) индуцируют на каждом из подмножеств свою обучающую и рабочую выборки.

Рассмотрим задач восстановления значений функции в заданных точках.

Для каждой задачи рассмотренным выше способом зададим свою структуру на классе Линейных функций

Получим, что с вероятностью для каждой задачи (в отдельности) справедлива оценка

где функция, минимизирующая эмпирический риск на обучающей последовательности этой задачи (индекс указывает на то, что суммарный и эмпирический риск вычисляются по элементам, принадлежащим подмножеству наименьшее решение неравенства

Здесь обозначено: длина обучающей последовательности в задаче длина рабочей выборки в задаче . С вероятностью одновременно для элементов всех задач будут выполняться неравенства

где, в отличие от предыдущего случая, — наименьшие решения неравенств

Выберем такую задачу, для которой оценка величины суммарного риска минимальна.

Наконец, перебором по и по (на практике найдем наилучшее решение.