8.3. Смещенное оценивание коэффициентов регрессии

Как известно (см. п. 7.1.2 и 11.1.1), мнк-оценки являются несмещенными оценками с минимальной дисперсией в классе линейных по оценок. Однако в условиях мультиколлинеарности эта минимальная дисперсия может быть чрезмерно велика. Оказывается, если отказаться от несмещенно-стиу можно построить линейные по У оценки , для которых средний квадрат отклонения от истинных значений параметров 0 будет меньше, чем для мнк-оценок , т. е.

(8.20)

Любую оценку , линейную по У, можно представить в виде

где обычная мнк-оценка, а С — матрица размера , не обязательно невырожденная, называемая матрицей редукции.

Оценка вида (8.21) имеет следующие математическое ожидание и матрицу ковариаций:

Для нормированной суммы квадратов отклонений имеем К

где — нормированная сумма квадратов отклонений для мнк-оценки. После некоторых преобразований выражение (8 23) можно записать:

Среднее значение величины равно:

Введем функционал, характеризующий качество оценки (8.21) (функцию потерь)

где W — неотрицательно определенная весовая матрица.

Наиболее часто используются весовые матрицы вида .

Будем искать теперь оценки , минимизирующие функцию потерь (8.26).

Такие оценки допускают следующую интерпретацию. Пусть, используя матрицу X и -мерный вектор значений прогнозируемой величины Y, мы получили некоторую оценку параметров 0 и среднего значения зависимой переменной у. Используем теперь эти оценки для прогноза значений переменной у для векторов X, не входящих в матрицу X. Будем считать при этом, что модель (8.1) остается верной, а компоненты векторов X распределены согласно некоторому закону распределения с вектором средних значений и матрицей ковариаций W. Пусть есть квадрат ошибки предсказания значения у для вектора X:

где — центрированный вектор X.

Тогда

Усредняя теперь по , имеем

Взяв далее математическое ожидание по Y, получаем, что

Таким образом, уравнение регрессии с параметрами, определенными из условия минимума функционала (8.26), минимизирует математическое ожидание квадрата ошибки прогноза на векторах X, не входящих в состав матрицы плана X, использованной для оценки, в то время как обычная мнк-оценка минимизирует сумму квадратов отклонений для матрицы X.

Линейное преобразование объясняющих переменных. Рассмотрим теперь, как преобразуются оценки параметров уравнения регреосии и функционал (8.26) при линейном преобразовании объясняющих переменных.

Пусть для некоторого набора переменных определена оценка вида (8.21), удовлетворяющая условию (8.27) минимума функционала (8.26) с весовой матрицей W. Перейдем теперь к системе переменных связанных с X невырожденным линейным преобразованием . Тогда мнк-оценкой параметров уравнения регрессии для переменных Z будет вектор

где через обозначена мнк-оценка соответственно для переменных

Аналогично смещенная оценка преобразуется в оценку

С учетом (8.29) имеем

Таким образом, оценке параметров уравнения регрессии в пространстве переменных X с матрицей редукции в пространстве переменных Z соответствует оценка с матрицей редукции

Весовая матрица в мере качества оценки тоже меняется. Имеем

Таким образом, матрица получается как решение задачи минимизации функционала (8.26) с преобразованной весовой матрицей

Заметим, что если есть ковариационная матрица пере менных X, то матрица будет ковариационной матрицей переменных Z.