6.5. Редуцированные оценки

Как было показано в предыдущих параграфах, мультиколлинеарность ведет к увеличению длины оценки. Естественно поэтому вместо обычных оценок, т. е. оценок МНК, рассматривать «укороченные», редуцированные оценки, т. е. оценки с меньшей длиной.

В. Джеймс и Ч. Стейн [139] показали, что в случае нормальной случайной выборки в классе всех оценок может быть найдена оценка, которая лучше обычной средней в смысле наименьшего среднего квадрата ошибки. В отличие от средней оценка Джеймса-Стейна является смещенной оценкой. Для регрессии результат Джеймса — Стейна может быть сформулирован следующим образом [181]. Предположим, отклонения регрессии независимы и одинаково распределены Для простоты будем считать матрицу плана регрессии единичной, т. е. Сумму квадратов отклонений, отвечающую оценке МНК, обозначим средняя, сумма квадратов ошибок оценки МНК тогда равна:

Теорема Джеймса — Стейна [181] 6.4. Для оценка Джеймса-Стейна

для всех имеет среднюю сумму квадратов ошибок меньше при любых а Наименьшее значение достигается при

Очевидно, что при с для оценки Джеймса-Стейна коэффициент редукции

поэтому оценку и называют редуцированной (shrunken estimator). В оценке Джеймса — Стейна каждая координата оценки МНК уменьшается в одинаковое число раз. Для оптимального для больших Отсюда следует, что для больших оценка Джеймса-Стейна лучше оценки МНК приблизительно в раз. При больших эффект будет значительным. Для и 2, как

показано в [183], оценка МНК будет наилучшей в классе всех оценок (смещенных и несмещенных). В [181] приведены формулировки теорем более общих, чем теорема Джеймса—Стейна.

Оценку МНК возможно подправить и для некоторой части вектора. Так, допустим, причем переменных считаем предпочтительными и для них не будем исправлять оценку МНК. Разобъем вектор оценки МНК на два подвектора первый размерности второй — Положим где тогда оценка имеет средний квадрат ошибки, меньший, чем средний квадрат ошибки оценки МНК для всех

Теорему Джеймса-Стейна нетрудно применить для случая Действительно, пусть модель задана в исходном виде Нормируя независимые переменные (6.24), придем к модели (6.25).

Подходящим поворотом осей координат трансформируем модель (6.25) в ортогональную (6.29), при этом диагональная матрица. Далее положим тогда и

где Находя оценку Джеймса-Стейна для модели (6.40) и делая обратные преобразования, найдем соответствующую оценку для исходной модели. Можно показать, что оценкой Джеймса-Стейна для модели (6.25) является редуцированная оценка где оценка МНК регрессии (6.25);

минимальная сумма квадратов уравнения (6.25).

В общем виде редуцированную оценку можно записать в виде где коэффициент редукции Допуская некоторую вольность, будем считать стохастической редуцированной оценкой, если стохастический коэффициент, в противном случае детерминированная редуцированная оценка. В последнем случае легко найти математическое ожидание, матрицу ковариаций,

среднюю сумму квадратов ошибок и матрицу средних квадратов ошибки:

Если стохастическая редуцированная оценка, математическое ожидание, матрицу ковариаций и т. д. найти весьма сложно, так как теперь имеет свое распределение.

Легко показать, что для любого существует такое что

Оценка Джеймса-Стейна является представителем стохастической редуцированной оценки.

Обобщенной редуцированной оценкой Л. Мейер и Т. Уиллке [161] называют оценку, которая является линейным преобразованием оценки МНК, т. е. где С — невырожденная матрица . Если С — детерминированная матрица, говорим, что детерминированная редуцированная оценка, в противном случае — стохастическая. Математическое ожидание, матрица ковариаций, средняя сумма квадратов ошибок и матрица средних квадратов ошибок обобщенной редуцированной оценки равны соответственно:

При использовании обобщенной редуцированной оценки, естественно, возникает вопрос о выборе матрицы преобразования С. Мейер и Уиллке поступают следующим образом. Как известно, при заданном значении суммы квадратов отклонений ридж-оценка минимизирует длину оценки. Аналогичный путь можно предложить для получения матрицы С. Нетрудно проверить, что

Очевидно, обобщенной детерминированной редуцированной оценкой имеющей данную сумму квадратов

отклонений, с минимальной длиной является ридж-оценка, для которой

Как показали Мейер и Уидлке [161], обобщенной редуцированной оценкой с данной суммой квадратов отклонений (6.44) и минимальным следом является оценка

где определяется данным значением Оценка (6.45) может быть преобразована следующим образом. Матрицы имеют одинаковые характеристические векторы, поэтому где диагональные матрицы, причем

Тогда с учетом этого

Как видим, оценка (6.46) есть не что иное, как стохастическая редуцированная оценка, коэффициент редукции Напомним, что зависит от выбранного значения суммы квадратов отклонений.

Мейер и Уиллке минимизировали след ковариационной матрицы редуцированной оценки. Можно выбрать и другие критерии. Например, в качестве критерия можно взять среднюю сумму квадратов ошибки. Найдем для данных значение , минимизирующее Имеем (см. (6.43))

откуда

Очевидно, для данных

Использовать коэффициент редукции (6.47) на практике невозможно, поскольку он содержит неизвестные параметры. Однако вместо а и ста можно подставить их оценки, например можно положить

что приведет к стохастической редуцированной оценке Оценку можно использовать для нахождения следующего значения X, по которому найдем новое значение

Между ридж-оценками и редуцированными оценками существует тесная взаимосвязь: ридж-оценки являются частным случаем редуцированных оценок [113]. Действительно, сведем исходную модель к ортогональной (6.29). Для нее обобщенной ридж-оценкой является

где К — диагональная матрица. Обозначим тогда

Обобщенной редуцированной оценкой для (6.29) является где будем считать диагональной матрицей. Тогда Если в качестве взять то приходим к ридж-оценке (6.48).

Упражнение 6.5

(см. скан)