А. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ

4.2. Метод наименьших квадратов без взвешивания измерений

Метод наименьших квадратов — старейший и наиболее широко распространенный метод оценивания. По крайней мере стчасти его популярность объясняется тем, что его можно применять аналогичным образом и к детерминистической модели, ничегс не зная о распределении вероятностей наблюдений. Нет необходимости говорить о том, что

оценки, полученные таким образом, могут иметь плохие характеристики, хотя существуют ситуации, в которых ничего лучшего сделать невозможно. Мы не утверждаем, что оценки наименьших квадратов всегда единственно подходящие для данного случая. Это как раз не гак: но, если наблюдения имеют определенное распределение вероятностей, эти оценки могут даже обладать оптимальными статистическими свойствами, которые будут описаны в последующем изложении.

В задачах подгонки кривых, когда коэффициенты не имеют физического смысла, метод наименьших квадратов обычно является подходящим.

Введем обозначение: прописная жирная буква меньшего размера будет обозначать вектор, образованный соединением соседних строк матрицы, обозначенной той же буквой. Итак,

Процедура наименьших квадратов в простейшем виде состоит в нахождении значений , минимизирующих функцию

или в виде суммы

т. е. минимизируется сумма квадратов остатков. Если мы говорим об однооткликовом методе наименьших квадратов. Практически большинство задач оценивания попадает в эту категорию. Типовая задача разбирается детально в разделе 5.21.

Мы легко можем получить нормальные уравнения:

В более общем случае однсюткликовой приведенной модели и мы имеем