Глава 8. ОЦЕНИВАНИЕ МЕТОДОМ НАИМЕНЬШИХ КВАДРАТОВ И ДИСПЕРСИОННЫЙ АНАЛИЗ
8.1. ОЦЕНИВАНИЕ МЕТОДОМ НАИМЕНЬШИХ КВАДРАТОВ ДЛЯ МОДЕЛЕЙ ОБЩЕГО ВИДА
Метод наименьших квадратов упоминался ранее в разделе 3.5.2. Теперь мы приступим к более подробному рассмотрению этого очень важного способа оценивания.
Пусть 
наблюдений 
рассматриваются как результаты измерений 
случайных величин 
математические ожидания которых 
зависят от 
неизвестных действительных параметров 
входящих в 
известных функций 
следующим образом:
где 
Тогда 
где 
— случайная «ошибка» 
наблюдения, причем предполагается, что 
независимы и равновелики, а их математические ожидания равны нулю. Обозначим их (неизвестные) реализации через 
тогда 
Допустим, что 
— некоторая вектор-функция от 
— претендует на роль оценки для 
[см. определение 3.1.1]. Рассмотрим сумму квадратов разностей между наблюдениями и их ожиданиями, оцениваемыми на основе и, т. е.
Чем ближе эти ожидания к фактическим значениям наблюдений, тем меньше должно быть 
Следовательно, значение 
может использоваться в качестве меры того, насколько хорошо наблюдения описываются моделью, в которой 
оценивается с помощью 
Принцип наименьших квадратов, предложенный Гауссом, гласит, что в качестве оценки для 
следует выбрать такую оценку 
которая минимизирует эту сумму квадратов отклонений, т. е. минимальное значение 
при вариации 
достигается для 
Оценки метода наименьших квадратов (МНК-оценки) при обычных условиях можно найти, решая «нормальные уравнения»:
Они сводятся к
Свойства оценок [см. определение 3.1.1], получаемых этим методом, зависят от распределения 
. Если, например, 
— независимые и одинаково распределенные нормальные случайные величины, то МНК-оценка в совпадает с оценкой метода максимума правдоподобия [см. гл. 6]. Вообще говоря, МНК-оценки не несмещенны [см. раздел 3.3.2], однако в одном (важном) частном случае, который обсуждается ниже — при линейной модели, — они оказываются несмещенными, а также обладают оптимальным свойством, рассматриваемым в разделе 8.2.3.
