3.10. Другие методы оценивания

3.10.1. Смещенное оценивание

Рассмотрим линейную модель в которой Если вектор имеет нормальное распределение, то несмещенная оценка вектора имеет минимальную дисперсию в классе всех несмещенных оценок этого вектора. Если же предположение о нормальности вектора отсутствует, то эта

оценка имеет минимальную дисперсию в классе линейных несмещенных оценок (теорема 3.2.) Хотя отсюда и вытекает, что оценка параметра обладает минимальной дисперсией в соответствующем классе оценок, тем не менее это еще никак не гарантирует того, что эта дисперсия будет на самом деле мала. В частности, если матрица близка к вырожденной, так что ее наименьшее собственное значение, скажем близко к нулю, то в силу А1.5 "полная дисперсия"

может оказаться слишком большой для практических целей. Чтобы обойти эту трудность, связанную с "плохой обусловленностью" матрицы X, Hoerl, Kennard (1970а, b) ввели класс оценок вида

известных под названием гребневых оценок (ridge estimators). Поскольку

(мы обозначили для краткости то смещенная оценка вектора если Основанием для использования гребневых оценок могут служить следующие два факта.

1) Если вычертить графики компонент вектора и соответствующих остаточных сумм квадратов как функций от то можно составить определенное представление относительно степени обусловленности матрицы При этом можно выбрать такое значение при котором а) система становится устойчивой, коэффициенты регрессии имеют разумные значения, с) остаточная сумма квадратов RSS не слишком велика.

2) Всегда существует такое значение при котором полная среднеквадратичная ошибка оценки оказывается меньше полной среднеквадратичной ошибки оценки Здесь полная среднеквадратичная ошибка определяется следующим образом (теорема 1.7, следствие 1):

Hoerl показал, что для заданной матрицы X всегда можно

подобрать такое значение при котором выписанное выражение оказывается меньшим, чем Таким образом, допуская небольшое смещение, мы можем уменьшить полную дисперсию в (3.70) настолько, что при этом уменьшится и полная среднеквадратичная ошибка.

Используя для формы смещенной оценки другое представление, Banerjee, Carr (1971) сравнили другой несмещенной оценкой для отличной от При этом они также доказали, что при некотором полная среднеквадратичная ошибка оценки оказывается меньше, чем у указанной несмещенной оценки. Однако использование для характеризации качества оценок полной среднеквадратичной ошибки Nelder (1972) подверг критике за то, что при этом в качестве расстояния между и используется евклидово расстояние. В связи с этой критикой Theobald (1974) получил результат, аналогичный (2), используя взвешенную сумму квадратов вида

где В—положительно определенная матрица. Полностью же возражения Nelder (1972) сняли Goldstein, Smith (1974), а также Lowerre (1974), которые независимо друг от друга показали, что для любого вектора существует значение при котором каждый элемент вектора имеет меньшую среднеквадратичную ошибку, нежели соответствующий ему элемент вектора

Другим классом смещенных оценок, рассматриваемых в литературе, является класс так называемых сжатых оценок, имеющих вид Такие оценки используют, например, Stein (1960), James, Stein (1961), Sclove (1968), Thompson J.R. (1968), Mayer, Willke (1973) и Narula (1974). Mayer, Willke (1973) сравнивают один из типов "сжатых" оценок с гребневыми оценками, а также с довольно сложными оценками, которые предложил Sclove (1968). Оказывается [Goldstein, Smith (1974)], что гребневые оценки можно получить как частный случай сжатых оценок для канонической формы модели регрессии. Авторы используют этот подход для получения более общего класса гребневых оценок.

Отметим, что гребневые оценки принадлежат классу смещенных оценок вида

где С — положительно определенная матрица и матрицы перестановочны. Lowerre (1974) показал, что если собственные значения матрицы С достаточно малы, то тогда каждый элемент вектора имеет меньшую среднеквадратичную ошибку, нежели

соответствующий ему элемент вектора Полагая мы находим, что гребневые оценки обладают этим свойством, если достаточно мало. Полагая мы заключаем, что сжатые оценки имеют это свойство, если достаточно близко к единице. рассматривал оценки с точки зрения прогнозирования.

Интересно отметить, что для некоторого значения где - дисперсия априорного распределения каждого из гребневая оценка является также и байесовской оценкой вектора р [Lindley, Smith (1972, с. 11), Goldstein, Smith (1974, с. 291), Успенский, Федоров (1977].