§ 6. Восстановление регрессии в классе линейных по параметрам функций

Рассмотрим класс линейных по параметрам функций

Существуют две идеи задания структуры на этом классе:

1) упорядочение функций по числу членов разложения;

2) упорядочение функций по норме вектора параметров а (норме функций в для ортонормальной по мере системы

Построим на этих структурах алгоритмы упорядоченной минимизации риска, использующие в качестве критерия выбора второго уровня оценку «скользящий контроль».

Упорядочение по числу членов разложения. Пусть дана априорно ранжированная система функций

Зададим на множестве функций структуру

где элемент структуры S содержит лишь такие функции, которые могут быть разложены по первым членам ряда (8.40).

В этом случае метод упорядоченной минимизации состоит в определении такого подпространства исходного пространства на котором достигается минимум величины

Функция а, минимизирующая эмпирический риск в (вектор параметров считается наилучшим приближением к регрессии.

В формуле (8.42) обозначено: вектор матрица, строки которой равны

Упорядочение по величинам нормы вектора параметров. Рассмотрим систему упорядоченных множеств

таких, что подмножества содержат лишь функции для которых выполняются условия

Величины растут с увеличением номера I

В соответствие величинам может быть поставлен монотонно убывающий ряд положительных величин (множителей Лагранжа)

такой, что задача минимизации эмпирического риска на множестве оказывается эквивалентной минимизации функционала

В этом случае двухуровневая схема метода упорядоченной минимизации риска состоит в том, чтобы на первом уровне отобрать функций минимизирующих для различных величин функционал (8.45), а на втором уровне среди отобранных функций определить такую, которая доставляет минимум оценке «скользящий контроль». Иначе говоря, при таком способе задания структуры метод упорядоченной минимизации состоит в том, чтобы определить на котором достигается минимум выражения

где

и найти функцию а, минимизирующую при этом функционал (8.45). Эту функцию задает вектор параметров

Наконец, рассмотрим комбинированную структуру на множестве линейных по параметрам функций Сначала упорядочим функции по числу членов разложения (8.40), а затем каждое подмножество состоящее из функций, разложимых по членам, упорядочим по величинам нормы вектора параметров (8.44).

Таким образом, рассмотрим систему множеств

Элемент есть подмножество, состоящее из функций, разложенных по членам ряда таких, что выполнено неравенство

Метод упорядоченной минимизации здесь состоит в определении такой пары для которой оценка качества алгоритма, минимизирующего эмпирический функционал

полученная с помощью процедуры «скользящий контроль», будет минимальной.

В вычислительном отношении это означает, что необходимо найти такую пару на которой будет достигаться минимум выражения

и определить функцию а (вектор параметров

Итак, мы рассмотрели алгоритмы упорядоченной минимизации риска, использующие в качестве критерия выбора второго уровня процедуру «скользящий контроль».

Реализация этих алгоритмов восстановления регрессии в классе линейных по параметру функций оказалась не многим сложнее, чем реализация метода наименьших

квадратов. Однако, вообще говоря, рассмотренные алгоритмы являются эвристическими — они основаны на гипотезе о том, что дисперсия оценки «скользящий контроль» мала. На практике при восстановлении регрессии эти алгоритмы дают хорошие и устойчивые результаты, если объем выборки в несколько раз (3—4 раза) больше размерности пространства. Создание же алгоритмов упорядоченной минимизации риска для объемов выборки, соизмеримых (или меньших) размерности вектора параметров а связано с оценками вероятности равномерного относительного уклонения средних от их математических ожиданий.