8.5. Оценки, связанные с ортогональным разложением

Использование функционала (8.26) как меры качества оценки не гарантирует еще, что каждая компонента вектора имеет меньшую среднеквадратическую ошибку, чем вектор мнк-оценок (см,, например, п. 8.3.1). Однако, как оказано в [192], оценки, уменьшающие среднеквадратическую ошибку каждой из компонент вектора, существуют, в частности такими являются ридж-оценки [208, 209]. В настоящем разделе проводится рассмотрение достаточно общего класса оценок, обладающих указанным выше свойством.

Вернемся к регрессии на главные компоненты (см. п. 8.2). Пусть, как и прежде, вектор G есть вектор теоретических значений параметров, a G — вектор мнк-оценок. Пусть — собственные векторы матрицы S. Поскольку матрица S невырождена, векторы образуют полную ортонормированную систему (см. [102]), и поэтому любой вектор оценок параметров может быть представлен в виде

Для мнк-оценки где — оценка вектора ковариаций между прогнозируемой переменной у и переменными . Для самого вектора неизвестных параметров . Мы будем рассматривать класс оценок вида (8.47) с коэффициентом .

Таким образом, множитель можно рассматривать как относительный вес главной компоненты в оценке параметров регрессии (8.47) по сравнению с ее весом в мнк-оценке.

Дальше веса будут определяться из условия минимума функционала качества (8.26). Будем полагать при этом, что весовая матрица W перестановочна с матрицей S, т. е. что векторы являются и собственными векторами матрицы W, и она представима в виде Очевидно, здесь охвачены случаи . После несложных преобразований получаем следующую формулу для функционала качества (8.26):

(8.48)

Чтобы получить аналитическое выражение запишем его в виде

где

Взяв теперь математическое ожидание, получим

или в эквивалентной форме

Для дальнейшего анализа понадобится еще преобразованное выражение для нормированной суммы квадратов отклонений . Из (8.23) имеем

Первое слагаемое в (8.51) соответствует применению мнк-оценки, а второе возникает, если хотя бы один из вкладов .

Укажем некоторые часто используемые типы оценок, представимые в виде (8.47).

Однопараметрическая гребневая регрессия [208, 209]. Стандартная запись этой оценки имеет вид

или, что более предпочтительно, когда диагональные элементы матрицы S различны,

где DG (S) — диагональная матрица малое число, так называемый параметр гребня.

От оценки вида (8.52) можно перейти к оценке вида (8.52) с помощью нормировки матрицы S к матрице корреляций. Дальше будем рассматривать только оценки вида (8.51).

Собственные векторы матрицы S являются и собственными векторами матрицы с собственными числами . Следовательно, матрица и и с Учетом (8.48) и вида получаем, что относительные весовые коэффициенты для оценки гребневой регрессии равны;

Значение параметра k подбирается из решения минимиза-ционной задачи для функционала (8.50).

Многопараметрическая гребневая регрессия [192]. Стандартная запись соответствующей оценки имеет вид.

где К — матрица, перестановочная с S. Собственные числа этой матрицы пусть будут После несложного пересчета получаем, что веса вкладов главных компонент для этой модели равны:

Значения параметров подбираются из решения оптимизационной задачи для функционала (8.50).

Оценка Марквардта [227] (оценка дробного ранга). Для этой оценки определяются два параметра: ранг и вес а. Веса а имеют вид

Методы определения ранга и а приведены в [227]. Регрессия на главные компоненты. Веса могут принимать одно из двух значений: если выполняется какое-либо из условий информативности данной главной компоненты (см. п. 8.2), либо если данная компонента удаляется.

Заметим, что редуцированные оценки Джеймса — Стейна и Мейера — Уилке также могут быть легко представлены в терминах весовых коэффициентов