3.6. Обобщенный метод наименьших квадратов

После того как мы построили теорию метода наименьших квадратов для модели в предположениях перейдем теперь к случаю, когда допускается коррелированность ошибок и выясним, какие при этом необходимо сделать изменения. Мы будем предполагать теперь, что где V — известная положительно определенная матрица размера

Поскольку матрица V положительно определена, то существует такая невырожденная матрица К размера для которой Поэтому, полагая приходим к модели в которой матрица В размера имеет ранг (в силу соотношения (2.15), § 2.3). Минимизируя величину относительно и используя теорию § 3.1, находим, что оценка наименьших квадратов для вектора в преобразованной модели равна

Ее математическое ожидание есть

дисперсионная матрица выражается как

а остаточная сумма квадратов — как

оценку можно получить и другим путем. Именно, можно продифференцировать величину как функцию от равную

по переменной . В силу соответствующая производная равна

Приравнивая полученное выражение нулю, снова приходим к той же оценке Матрица XV-X имеет обратную, поскольку она положительно определена согласно Отметим, что коэффициент при в (3.23) является величиной, обратной

В различных книгах, посвященных рассмотрению указанной выше модели, оценка называется по-разному. Иногда ее называют взвешенной оценкой наименьших квадратов. Однако мы будем говорить о ней как об обобщенной оценке наименьших квадратов, зарезервировав выражение взвешенная оценка наименьших квадратов для случая, когда матрица V является диагональной. Такой случай обсуждается многократно в различных частях этой книги (см. предметный указатель).

Пример 3.2. Пусть где [(дивекторы размера Найдем взвешенную оценку наименьших квадратов для вектора и дисперсию этой оценки.

Решение. В данном случае проще сразу продифференцировать не прибегая к общей матричной теории. Поскольку имеем

и

Приравнивая правую часть (3.24) нулю, получаем

Коэффициент при дает значение дисперсии

Это значение можно найти и непосредственно, учитывая, что

Поскольку обобщенная оценка наименьших квадратов является обычной оценкой наименьших квадратов для преобразованной модели, то естественно ожидать, что оценка имеет такие же оптимальные свойства, как и а именно что является наилучшей линейной несмещенной оценкой для Чтобы убедиться в этом, заметим прежде всего, что оценка имеет вид

т. е. является линейной несмещенной оценкой. Пусть какая-нибудь другая линейная несмещенная оценка для Используя преобразованную модель, получаем Применяя те же рассуждения, что и при доказательстве теоремы 3.2 (§ 3.2), приходим к неравенству

Равенство здесь достигается тогда и только тогда, когда т. е.

Таким, образом, является единственной для

При рассмотрении оценки естественно возникает вопрос о том, при каких условиях она совпадает с оценкой Иначе говоря, в каких случаях можно игнорировать тот факт, что дисперсионная матрица может быть равной а не Ответ на этот вопрос дается следующей теоремой (взятой с некоторыми изменениями из

Теорема 3.6. Оценки совпадают в том и только том случае, когда

Доказательство. Оценки совпадают тогда и только тогда, когда для каждого выполнено соотношение

Пусть единственное представление вектора в котором Поскольку имеем для некоторого а, так что удовлетворяет соотношению (3.25) для любой матрицы Далее, так что и удовлетворяет соотношению (3.25), если Поэтому соотношение (3.25) будет выполняться для каждого в том и только в том случае, когда из вытекает, что т. е. кргда Поскольку же оба указанных про странства имеют одинаковую размерность это означает, что

Следствие 1. Оценки совпадают тогда и только тогда, когда

Доказательство. Пусть Возьмем произвольный вектор Тогда найдется такой вектор с, что Таким образом, и по той же причине, что и в теореме, Обратно, пусть выполняется последнее равенство. Возьмем произвольный вектор Тогда для соответствующим образом выбранных Отсюда опять Таким образом, гогда и только тогда, когда и искомый результат вытекает из доказанной теоремы. (Доказательство этого следствия в общем виде см. в работе Kruskal (1968).)

Следствие 2. Если то оценки совпадают при каждом х тогда и только тогда, когда матрица V имеет вид [Watson (1967, с. 1685)].

Доказательство. Если то где с пробегает все возможные значения. Используя следствие 1, видим, что соотношение выполняется для всех х тогда и только тогда, когда для каждого х. Полагая соответственно, где находим, что матрица V диагональна и Таким образом,

Если первый столбец матрицы X состоит из единиц, т. е. равен то в этом случае для совпадения необходимой достаточно, чтобы

Обсуждение рассмотренного вопроса можно найти также в работах Bloomfield, Watson (1975) и Haberman (1975)х).

Упражнения 3f

(см. скан)

(см. скан)