3.5.2. НЕСМЕЩЕННЫЕ ОЦЕНКИ С МИНИМАЛЬНОЙ ДИСПЕРСИЕЙ. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
Как объяснялось в разделе 3.3.2, несмещенная (ограниченная) оценка с минимальной дисперсией параметра в, основанная на выборке 
есть функция 
где коэффициенты 
выбраны так, чтобы выборочное математическое ожидание было равно в, и при этом условии выборочная дисперсия была бы минимальной. Выбор формы функции 
обычно основывается на соображениях размерности. В примере 3.3.4 параметр в был математическим ожиданием X, и линейная функция поэтому была приемлема. Пример 3.3.5 иллюстрирует использование функции, линейной по коэффициентам и квадратичной по наблюдениям.
Метод наименьших квадратов чаще всего применяют при линейной зависимости от коэффициентов. В этом случае он четко систематизирован и продуктивен. «Принцип наименьших квадратов» описан в гл. 8. (Это один из старейших и известных методов оценивания, его, например, использовал Лежандр в 1805 г.; широко известно также применение этого метода Гауссом в 1809 г. [см. Pearson and Kendall (1970), гл. 15 - D].) Связь между методом наименьших квадратов и несмещенной оценкой с минимальной дисперсией очевидна из следующего примера. Предположим, что для 
точно известных нагрузок 
наблюдались соответствующие прогибы 
стального бруса. Предполагается, что «уровни» 
нагрузок формируют часть предсказуемой картины эксперимента: они не являются «наблюдениями» в
нашем техническом смысле этого слова, так как не являются реализацией случайных величин. Напротив, прогибы 
представляют собой «наблюдения»: они неизвестны заранее; более того, цель эксперимента в том, чтобы наблюдать и измерять их с максимальной точностью, доступной техническому оснащению опытов. Физический подход предполагает, что в пределах рассматриваемых нагрузок и при отсутствии сшибся измерения искомое отклонение 
прогиб, вызванный нагрузкой х, выражается формулой
при определенном значении коэффициентов 
Реально наблюдения удовлетворяют соотношениям
где 
обозначает ошибку наблюдения. Согласно принципу наименьших квадратов оценки 
для 
должны быть выбраны как значения (неизвестных) 
которые минимизируют «сумму квадратов»
С другой стороны, если мы решили использовать несмещенные оценки с минимальными дисперсиями, линейные по 
с произвольными функциями заданных нагрузок 
в качестве коэффициентов, то нам следует искать оценки вида:
Коэффициенты 
определяются из условий: а) 
должна быть несмещенной оценкой 
при условии а) выборочная дисперсия каждой из 
должна быть наименьшей.
Оказывается, для этого «линейного» случая (при описанных выше условиях) оценки наименьших квадратов 
и несмещенная оценка с минимальной дисперсией 
[см. раздел 3.5.2] в точности совпадают (коротко перечислим эти условия: 1) каждая ощибка 
имеет нулевое выборочное математическое ожидание; 2) все ошибки 
имеют одинаковую выборочную дисперсию; 3) ошибки не коррелированы).
Процесс минимизации суммы квадратов 
хорошо организован алгоритмически и дает для оценки простые ясные выражения. В нашем примере легко видеть, что 
являются (единственными) решениями следующей системы линейных уравнений [см. I, раздел 5.8]:
Формально решение есть вектор 
, заданный линейной формой
где
Развитие этих идей, а также выборочные свойства в содержатся в теореме Гаусса—Маркова и в ее приложениях [см. гл. 8].
