8.2.3. СВОЙСТВА ОЦЕНОК МЕТОДА НАИМЕНЬШИХ КВАДРАТОВ

Насколько хороши МНК-оценки? Оценить метод можно, только рассматривая статистические свойства МНК-оценок [см. определение 3.1.1] , получаемых на основе результатов наблюдений . Ясно, что распределение зависит от распределения . В этом разделе рассматриваются только первые два момента распределения (другие свойства распределения обсуждаются в разделе 8.3.1). Кроме того, мы будем здесь предполагать, что случайные ошибки наблюдений имеют математические ожидания, равные нулю, и равные дисперсии, а некоррелированность, которая раньше предполагалась для независимых ошибок в разделе 8.1, не необходима для непосредственного получения следующих результатов. Итак, вот наши постулаты:

где — дисперсионная матрица [см. II, определение 9.6.3). Отсюда следует, что

При этих условиях МНК-оценки имеют следующие свойства: Свойство 1. Несмещенность.

для величины без смещения оценивают

Свойство 2. Дисперсионная матрица. Дисперсионная матрица вектора равна:

Таким образом, дисперсией коэффициента , служит диагональный элемент этой матрицы, а ковариация равна -элементу.

Свойство 3. Минимальная дисперсия (теорема Гаусса—Маркова). Формула для оценивания по представляет собой линейную функцию от наблюдаемых значений которая обладает тем свойством, что ее дисперсия меньше, чем дисперсия любой другой линейной функции от отклика У, которая бы тоже оценивала - несмещенно, т.е. если , где заданный вектор, то

Другими словами, среди всех несмещенных линейных оценок МНК-оценка наилучшая в смысле минимума дисперсии. Она представляет собой линейную несмещенную оценку с минимальной дисперсией (ЛНОМД) [см. раздел 3.3.2].

В более общем виде: если мы рассмотрим оценивание любой известной линейной комбинации параметров, скажем где задано, то мы можем сказать, что — несмещенно оценивается а дисперсия этой оценки не больше, чем у любой другой несмещенной оценки которая тоже линейна относительно независимой переменной , т. е. Х - ЛНОМД для ее дисперсия есть

В частности, есть ЛНОМД для

Свойство, выражаемое теоремой Гаусса—Маркова, не обязательно означает, что принцип наименьших квадратов всегда приводит к хорошим оценкам. Может случиться, что оценка окажется наилучшей в ограниченном классе, но при этом будет весьма «средненькой». Так, например, вполне возможно построить нелинейные функции от которые будут несмещенными для но окажутся лучше МНК-оценок, если ошибки получатся распределенными ненормально [см. ниже]. С другой стороны, если распределены нормально, можно показать, что МНК-оценки будут точно теми же, что и оценки метода максимума правдоподобия [см. раздел 3.5.5], так что в этом случае, в дополнение к тем свойствам, что были перечислены выше, они приобретают многочисленные новые свойства, делающие их более привлекательными, чем любые иные оценки, линейные или нелинейные. Для применения теоремы Гаусса—Маркова требуется лишь выполнение довольно слабых предположений, указанных выше, и можно быть уверенными в ее справедливости при применении метода наименьших квадратов в ситуациях, когда мы не можем или не хотим вводить более жесткие предположения относительно распределения ошибок. Если же распределение ошибок известно, то обычно более предпочтительны другие методы (например, метод максимума правдоподобия).

В случае модели измерения

с некоррелированными ошибками и при , ЛНОМД для служит Для различных симметричных, но не нормальных распределений ошибок медиана (нелинейная функция от ) имеет меньшую дисперсию, чем Y.

Пример 8.2.8. Данные о силе тяжести [см. примеры 8.2.2 и 8.2.4], рассмотренные ранее. В этом примере мы находим, что

Заметим, что, поскольку диагональные элементы матрицы не равны между собой, различными будут и дисперсии МНК-оценок , а значит, и константы оцениваются с различной точностью, что обусловлено асимметрией, с которой эти параметры входят в уравнения модели. В частности, самая точная оценка — это (с дисперсией ), а самая неточная — (с дисперсией ). Стоит также обратить внимание на некоторые другие свойства структуры уравнений модели, такие, как:

После рассмотрения индивидуальных оценок ускорения силы тяжести в разных местах мы можем заинтересоваться средним значением для всех пяти мест, т.е. оценкой Для

отмеченных условий ЛНОМД для этой линейной функции есть равное 981,2091. Ее дисперсия равна где , а это как раз произведение дисперсии на среднее арифметическое элементов матрицы что в данном случае равно [продолжение см. в примере 8.2.12].

Пример 8.2.9. Линейная регрессия для одной переменной. Это случай, для которого и ЛНОМД для равны:

Заметим, что, поскольку регрессор — не случайная величина, его заданные значения входят в эти формулы точно так же, как и в ранее рассмотренные выражения для (из примера 8.2.5), которые мы уже получили.

В соответствии со свойством Используя далее свойство 2 и матрицу как и в примере 8.2.5, получим

Отметим также, что коррелированы. Их ковариацию представляет внедиагональный элемент матрицы равный

Пример 8.2.10. Односторонний план . В этом случае [см. пример 8.2.6] ЛНОМД групповых средних равны соответственно с дисперсиями Внедиагональные элементы матрицы равны нулям, поэтому любые две из этих оценок некоррелированы. Для получения ЛНОМД линейных комбинаций и строят такие же линейные комбинации Например, ЛНОМД для равна с дисперсией для равна а ее дисперсия равна: где — общее число наблюдений. Эту дисперсию тоже можно было получить непосредственно, если заметить, что — сумма всех наблюдений.