3.2. Свойства оценок наименьших квадратов
Если предположить, что "ошибки" являются несмещенными, т. е. 
то
и 
есть несмещенная оценка вектора 
Если, кроме того, предположить, что все 
некоррелированы и имеют одинаковую дисперсию, 
то 
и
Отсюда по теореме 1.4 (следствие 2) получаем
Здесь возникает такой вопрос: почему в качестве оценки вектора 
мы выбираем именно 
(оценку наименьших квадратов), а не какую-нибудь другую оценку? Мы покажем ниже, что в достаточно разумном классе оценок 
является оценкой параметра 
обладающей наименьшей дисперсией. Эта оценка 
легко "выделяется" из вектора 
простым умножением слева на вектор-строку с, у которой 
элемент равен единице, а все остальные элементы равны нулю. Оказывается, что такое специфическое свойство оценки 
можно обобщить на случай произвольной линейной комбинации 
Для этого используем следующую теорему.
Теорема 3.2. Пусть 
-оценка наименьших квадратов вектора 
Тогда в классе всех линейных несмещенных оценок линейной комбинации 
оценка 
является единственной оценкой, обладающей минимальной дисперсией. (Мы говорим при этом, что 
является наилучшей линейной несмещенной оценкой 
для 
Доказательство. В соответствии с § 3.1 оценка 0 имеет вид 
где 
Поэтому 
для всех 
является линейной несмещенной оценкой для 
Тогда 
или 
так что 
Таким образом, 
Далее,
(последнее равенство справедливо в силу теоремы 3.1), так что
Равенство здесь достигается только в том случае, когда 
Это и означает, что 
имеет минимальную дисперсию и является единственной оценкой с таким свойством в рассматриваемом классе.
В этом параграфе мы предполагали, что матрица X имеет полный ранг, так что 
и из 
вытекает, что 
Полагая 
мы получаем отсюда, что 
является 
для 
при каждом а.
Отметим, что доказанная теорема остается в силе и тогда, когда матрица X неполного ранга. При этом матрица 
становится проекционной матрицей, имеющей свойства, описанные в 
До сих пор мы не делали никаких предположений о распределении 
Однако в том случае, когда ошибки 
независимы и одинаково распределены по закону 
т. е. 
или в эквивалентной форме 
то 
имеет минимальную дисперсию среди всех несмещенных оценок, а не только в классе линейных несмещенных оценок [по поводу доказательства этого факта см. Rao (1973, с. 319)J. В частности, оценка., являющаяся при этом также и оценкой максимального правдоподобия для (разд. 4.1.2), является эффективной оценкой 
Когда общее для всех распределение не является нормальным, оценка наименьших квадратов для 
не совпадает с асимптотически эффективной оценкой максимального правдоподобия. Асимптотическая эффективность оценки наименьших квадратов для этого случая доказана в книге Сох, Hinkley (1968).
Eicker (1963) рассматривал вопрос о состоятельности и асимптотической нормальности оценки 
при 
При слабых ограничениях он показал, что 
является состоятельной оценкой вектора 
тогда и только тогда, когда наименьшее собственное значение матрицы 
стремится к бесконечности. Такое ограничение на наименьшее собственное значение является весьма слабым, и поэтому указанный результат имеет широкое применение. Eicker (1963) также доказал теорему, содержащую необходимые и достаточные условия для асимптотической нормальности каждой 
(см. Anderson М. R. (1971, с. 23-27)).
Упражнения 3b
(см. скан)
