§ 7. Восстановление значений произвольной функции в классе линейных по параметрам функций

Распространим теперь методы восстановления значений характеристических функций, рассмотренные в предыдущих параграфах, на восстановление значений произвольной функции в классе линейных по параметру функций. Для этого определим классы эквивалентности линейных (по параметрам) функций на полной выборке, зададим на этих классах структуру и реализуем метод упорядоченной минимизации риска.

Пусть дана полная выборка

и множество линейных (по параметрам) функций Поставим в соответствие каждой функции этого множества однопараметрическое (по параметру Р) семейство решающих правил

При изменении параметра от до однопараметрическое семейство решающих правил (10.46) образует последовательность дихотомий (разделений на два класса) множества векторов (10.45) от дихотомии, у которой первый класс пуст, а второй класс содержит все множество (10.45)

(при до дихотомии, у которой первый класс состоит из всего множества векторов (10.45), а второй класс пуст

(при

Таким образом, для каждой функции может быть получена последовательность дихотомий

В соответствии с этой последовательностью дихотомий разделим множество функций на конечное число классов эквивалентности. Две функции попадают в один класс эквивалентности если они образуют одну и ту же последовательность дихотомий (10.47).

Поставим теперь в соответствие каждому классу эквивалентности число равное доле всех функций, принадлежащих этому классу, и затем упорядочим классы эквивалентности в порядке убывания

Используя упорядоченность (10.48), можно построить структуру на классах эквивалентности

Элементу принадлежат те классы эквивалентности, для которых

Для множества линейных функций доля функций, принадлежащих классу эквивалентности, может быть определена так же, как определялась доля линейных решающих правил. Поставим в соответствие каждой линейной функции вектор направляющих косинусов.

Тогда множеству всех функций соответствует поверхность единичной сферы в пространстве размерностей а каждому классу эквивалентности соответствует на этой сфере своя область (см. рис. 19).

Отношение площади выделенной области к площади поверхности сферы и определяет долю функций из класса эквивалентности среди всего множества функций.

На практике, однако, трудно непосредственно вычислить характеристику Поэтому, так же как и раньше, рассмотрим другую характеристику объема класса эквивалентности.

Для каждой функции определим направляющий вектор

Каждый класс эквивалентности будем характеризовать числом

где минимум берется по всем векторам полной выборки, а супремум — по всем направляющим векторам данного класса эквивалентности.

Построим теперь следующую структуру:

К d-му элементу структуры отнесем те функции, для которых выполняется соотношение

где минимальный диаметр сферы, содержащей множество Используя лемму, можно, как и в § 5, показать, что емкость функций элемента структуры равна где

Метод упорядоченной минимизации на этой структуре состоит в том, чтобы найти такой элемент а в нем такую функцию а, для которой достигался бы минимум правой части неравенства

где k — наименьшее решение неравенства

Первый сомножитель правой части неравенства (10.49) зависит лишь от того, в каком порядке проецируются векторы полной выборки на вектор направлений выбранной линейной функции, второй — от величины эмпирического риска.

Пусть минимум правой части (10.49) равен Тогда справедливо утверждение