1.5. Теорема Гаусса-Маркова

Оценка МНК является статистикой, т. е. случайной величиной. Разные наблюдения у приводят к разным значениям оценки, причем зависимость а от у линейная линейная оценка). Вычислим математическое ожидание и матрицу ковариаций оценки а. Используя (1.4), получим

Так как по предположению есть матрица детерминированная, то ее можно выносить за знак математического ожидания, т. е.

Таким образом, математическое ожидание оценки равно истинному значению параметра. Итак, оценка МНК несмещена.

Найдем матрицу ковариаций оценки МНК. По определению

Из несмещенности оценки МНК следует

откуда

окончательно

Нельзя считать (1.18) статистикой, поскольку зависит от неизвестного параметра Позднее мы оценим найдем оценку для

Приведем известную теорему Гаусса-Маркова, в которой говорится о важнейших статистических свойствах оценки МНК.

Теорема Гаусса — Маркова 1.2. Пусть предположения выполняются, оценка МНК является

а) несмещенной,

б) эффективной в классе несмещенных оценок, линейных по у.

Доказательство. Несмещенность уже была нами доказана. Докажем линейную эффективность Пусть другая несмещенная оценка, линейная по у. Тогда Ну, где некоторая детерминированная матрица Из условия несмещенности имеем

откуда

Обозначим Тогда из условия (1.19)

Вычислим матрицу ковариаций для оценки

Поскольку матрица неотрицательно определена, получаем т. е. разница матриц ковариации любой линейной несмещенной оценки и оценки МНК неотрицательно определена (см. параграф 1.4).

Замечания: 1. Как видно из доказательства, поэтому хотя бы один диагональный элемент матрицы больше нуля. Это, в частности, означает, что если какая-либо другая несмещенная линейная оценка, то дисперсия координаты дисперсии координаты оценки МНК, причем хотя бы для одной координаты

2. Еще раз подчеркнем оптимальность свойств оценок МНК в своем классе. Как следует из предыдущего параграфа, можно построить смещенные оценки, которые для некоторых значений а будут лучше оценок МНК. Существенным условием является требование линейности оценок. Весьма вероятно, что можно построить несмещенные нелинейные оценки, которые будут для всех а более оптимальными, чем оценка МНК. Однако в дальнейшем нами показано, что если распределение 8 нормально, то оценка МНК будет наилучшей в классе всех (линейных и нелинейных) несмещенных оценок.

Дж. Ходжес и Е. Леман доказали минимаксность оценки МНК [129].

Иногда нам интересны не сами оценки вектора параметров а некоторые их линейные комбинации. Допустим, нас интересуют оценки вектора где В — известная матрица неизвестный вектор, подлежащий оцениванию, размерности Можно доказать, что оценка является: а) несмещенной, б) эффективной в классе несмещенных оценок, линейных по у. Это позволяет прояснить еще одно свойство оценки МНК. Предположим, в регрессии нас интересует только один параметр, скажем Мы стараемся получить наилучшую линейную несмещенную оценку только этого параметра. Что это будет за оценка? Как следует из последнего факта, это будет оценка МНК. Действительно, положим матрица тогда и наилучшей оценкой будет т. е. первая координата оценки МНК. Итак, можно сделать вывод: МНК является одновременно эффективным и с точки зрения оценивания индивидуального параметра регрессии, и с точки зрения оценивания всех параметров совместно.

Можно также рассмотреть линейные несмещенные оценки, минимизирующие сумму дисперсий параметров. Эти оценки совпадают с оценками МНК.

До сих пор мы интересовались оцениванием параметров регрессии Однако существует еще один неизвестный параметр — дисперсия отклонений регрессии Как найти удовлетворительную оценку для этого параметра? Обозначим Положим

Теорема 1.3. Статистика несмещенно оценивает

Доказательство дано в параграфе 1.11.

Как мы уже отмечали, выражение (1.18) нельзя считать статистикой, поскольку неизвестно. Теперь, имея оценку можно построить несмещенную оценку для матрицы ковариации оценки МНК:

На практике матрицу ковариаций довольно затруднительно интерпретировать, так как она зависит от единиц измерения оценок, что в свою очередь зависит от единиц измерения переменных . С этой точки зрения удобнее пользоваться матрицей корреляций параметров. Она рассчитывается на основе (1.21), элемент которой равен:

где элемент матрицы По значению мы можем оценить, как координата оценки МНК коррелирует с координатой. Грубо говоря, мы как бы оцениваем линейную взаимозаменяемость параметров регрессии. Поскольку не зависит от выборки у, ее можно считать «абсолютно точной оценкой». Это освобождает нас от необходимости проверять эти коэффициенты на значимость, так как мы сразу получаем истинные значения коэффициентов корреляции между

Найдем статистику матрицу ковариаций и корреляций для регрессии (1.6). В предпоследней и последней колонках табл. 1.1 даны соответственно . Сумма квадратов отклонений поэтому несмещенная оценка дисперсии Используя матрицу вычисленную в параграфе 1.1, найдем оценку матрицы ковариаций оценки МНК:

Исходя из этой матрицы можно найти дисперсию и среднеквадратические отклонения для оценки а (табл. 1,2). Матрица корреляций параметров равна:

Таблица 1.2 (см. скан)

Таким образом, можно утверждать, что коэффициенты корреляции между и приблизительно одинаковы по абсолютной величине. Максимальный коэффициент корреляции равен — 0,987 и соответствует корреляции между Как интерпретировать Рассмотрим, например, Мы получили Это означает, что если повторять наблюдения за у (при фиксированной матрице X) и каждый раз вычислять оценку МНК, то, расположив пару на плоскости, получим облако рассеяния с коэффициентом корреляции, равным — 0,595. Знак минус означает, что при увеличении мы должны скорее ожидать уменьшение и наоборот.

Упражнения 1.5

(см. скан)

(см. скан)