8.4. Редуцированные оценки для стандартной модели линейной регрессии

Как уже указано в § 8.3, общий вид редуцированной оценки коэффициентов регрессии задается с помощью соотношения (8.21). Используемая там матрица редукции С, как показано дальше, является либо функцией неизвестных параметров , т. е. либо функцией оценок этих параметров . Следовательно, в последнем случае С будет случайной величиной. Такую матрицу назовем стохастической (формулы (8.22), (8.25) в случае стохастической матрицы уже не будут верными). Если матрица С — стохастическая, то оценки вида (8.21), строго говоря, не будут линейными по однако самое важное их свойство, определяющее их полезность для приложений, — уменьшение среднего квадрата отклонений (8.26) (в метрике матрицы W) — сохраняется.

Первоначально название «редуцированные («shrinkage») оценки» относилось к оценкам вида где скаляр . Матрица С для этой оценки имеет вид . Смысл введения множителя X состоит в уменьшении длины (евклидовой нормы) вектора оценок , по сравнению с , которая в условиях мультиколлинеарности может существенно превышать длину истинного вектора параметров (см. (8.7)).

8.4.1. Оценка Джеймса — Стейна.

Для рассмотрения оценки Джеймса — Стейна перейдем предварительно к ортонормированным переменным и модель регрессии запишем в виде

Такая модель может быть получена, например, в полиномиальной регрессии при переходе к ортонормированной системе полиномов.

В общей модели регрессии ортонормированными переменными, в частности, будут переменные — главные компоненты (см. § 8.2) матрицы X.

Мнк-оценка для коэффициентов Г записывается в виде и ее распределение подчиняется -мерному нормальному закону

Пусть теперь в качестве функции потерь, соответствующей некоторой оценке Г паоаметров регрессии Г, используется функция потерь вида (8.26) с единичной матрицей, т.е.

Для мнк-оценки верна следующая теорема [2161.

Теорема Джеймса — Стейна. Пусть . Тогда оценка

(8.36)

где с — любое число в интервале «лучше» мнк-оценки Г, в смысле критерия (8.35), каков бы ни был вектор неизвестных параметров Г. Иными словами, при любом Г верно неравенство

Условие является существенным, так как, как показано в когда или не существует оценки Г лучшей, чем мнк-оценка в смысле (8.35), т. е. такой оценки, чтобы для всех Г.

Используя оценку коэффициента множественной корреляции между у и X, множитель Стейна можно записать в виде, инвариантном относительно преобразования предсказывающих переменных

Когда получим оценку Г, для которой при всех Г, так что это значение; приводит к оценке, не лучшей чем мнк-оценка. Если оценка Стейна, очевидно, просто совпадает с мнк-оценкой. Минимальное значение функции потерь достигается при значении

Тогда , т. е. примерно равно когда .

Отсюда следует, что оценка Джеймса — Стейна при больших лучше мнк-оценки примерно в раз.

В то же время при наличии мультиколлинеарности оценка Джеймса — Стейна может оказаться столь же неудовлетворительной у как и обычная мнк-оценка. Чтобы показать это, вернемся от ортонормированных переменных V к главным компонентам Z, что соответствует линейному преобразованию ). Тогда согласно формуле (8.30) оценка Джеймса — Стейна для параметров уравнения регрессии на главные компоненты будет иметь в точности вид (8.36). т. е.

Однако согласно формуле (8.32) оценка G минимизирует уже не функцию потерь (8.35), а функцию потерь

Таким образом, ошибки оценок коэффициентов соответствующих главным компонентам с минимальными значениями дисперсии т. е. компонентам, «наиболее ответственным» за мультиколлинеарность, входят в функцию потерь с минимальными весами Это означает, что улучшение оценки Джеймса — Стейна по сравнению с мнк-оценкой достигается в первую очередь за счет уменьшения вклада компонент с относительно большой дисперсией, хотя при мультиколлинеарности, напротив, следует подавлять вклад компонент с минимальной дисперсией.

Улучшенная оценка Джеймса — Стейна. Как следует из выражения (8.37), при достаточно малых значениях множитель может стать отрицательным. Этого недостатка лишена улучшенная оценка типа Джеймса — Стейна, приведенная в [249]. Она определяется как редуцированная оценка

где множитель

— обычная мнк-оценка.

Для ортонормированных переменных V показано [249], что оценка с редуцирующим множителем , лучше оценки Джеймса — Стейна (а тем более мнк-оценки по критерию ), хотя оптимальное значением и соответствующее минимальное значение для нее аналитически не определены. Однако можно полагать, что они близки соответствующим значениям для оценки Джеймса — Стейна.

Для регрессии у на главные компоненты и на исходные переменные оценки типа (8.40) лучше оценки Джеймса — Стейна и мнк-оценки по соответственно взвешенным критериям

Применение оценки Джеймса — Стейна для уточнения части параметров. Оценку Джеймса — Стейна, равно как и улучшенную оценку (8.40), можно применить для уточнения части параметров уравнения регрессии, лишь бы количество уточняемых параметров q удовлетворяло неравенству .

Рассмотрим снова модель (8.34). Представим вектор Г в виде , где имеет размерность — размерность q. Вектор Г разобьется на два подвектора размерности и q соответственно Введем множитель

где

Тогда оценки

лучше мнк-оценки по критерию (8.35). Оптимальное значение . В таком виде оценка Джеймса—Стейна позволяет существенно улучшить мнк-оценку в условиях мультиколлинеарности. Действительно, выделяя во вторую составляющую вектора Г коэффициенты, соответствующие, например, малым собственным числам или малым значениям и используя затем множитель Стейна, можно существенно уменьшить вклад этих компонент в оценку параметров уравнения регрессии при возвращении к исходным переменным.