2.4. КОРРЕЛИРОВАННЫЕ ПЕРЕМЕННЫЕ

Если зависимые переменные коррелированы и ковариационная матрица известна с точностью до постоянного множителя (или точно), то развитую выше теорию можно соответствующим образом видоизменить. Предположим, что

Здесь известный вектор-столбец из чисел, где величины известны. Удобно записать эту модель в более компактной матричной форме. Пусть

Тогда (1) и (2) принимают вид

где известная матрица. Пусть матрица удовлетворяет соотношению

Положим Умножая (3) на слева, а (4) на слева и на справа, приходим к модели

изучавшейся в § 2.2. Нормальное уравнение в котором эквивалентно

Из (5) видно, что Поэтому решением уравнения (8) является

Отсюда получаем

Каждый элемент вектора b является наилучшей несмещенной линейной оценкой соответствующей компоненты вектора (теорема Гаусса — Маркова). При этом вектор b называется марковской оценкой для Он минимизирует квадратичную форму Если имеют совместное нормальное распределение, то являются оценками максимального правдоподобия для параметров и образуют для этих параметров достаточное множество статистик. Оценка наименьших квадратов

является несмещенной, т. е.

и имеет ковариационную матрицу

Если только столбцы матрицы не связаны специальным образом с , то любая линейная комбинация компонент вектора например будет иметь дисперсию, большую чем дисперсия соответствующей линейной комбинации компонент вектора . В этом случае разность выражений (14) и (11) будет положительно полуопределенной матрицей.

Теорема 2.4.1. Если причем столбцов матрицы V являются линейно независимыми характеристическими векторами матрицы невырожденная матрица, то оценка наименьших квадратов (12) совпадает с марковской оценкой (9).

Доказательство. Условие на V означает, что

где — диагональная матрица, состоящая из (положительных) характеристических корней матрицы соответствующих столбцам матрицы Тогда справедливо равенство

и , а оценка наименьших квадратов равна

а марковская оценка

Правая часть (18) идентична правой части (17).

В разд. 10.2.1 будет показано, что условие теоремы 2.4.1 является не только достаточным, но и необходимым. Его можно сформулировать и иначе: существует линейно независимых линейных комбинаций столбцов матрицы являющихся характеристическими векторами матрицы Смысл теоремы заключается в том, что при выполнении указанных условий оценки наименьших квадратов (для случая, когда матрица неизвестна) являются несмещенными линейными оценками с наименьшей дисперсией. В разд. 10.2.1 будет рассмотрен случай, когда существует произвольное число линейно независимых комбинаций столбцов матрицы являющихся характеристическими векторами матрицы Оценки наименьших квадратов для коэффициентов этих линейных комбинаций совпадают с марковскими, если остальные независимые переменные ортогональны данным. Утверждение о том, что при выполнении условий теоремы 2.4.1 оценки наименьших квадратов являются и оценками максимального правдоподобия, было доказано для случая нормального распределения Т. Андерсоном (1948).