А. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
4.2. Метод наименьших квадратов без взвешивания измерений
Метод наименьших квадратов — старейший и наиболее широко распространенный метод оценивания. По крайней мере стчасти его популярность объясняется тем, что его можно применять аналогичным образом и к детерминистической модели, ничегс не зная о распределении вероятностей наблюдений. Нет необходимости говорить о том, что
оценки, полученные таким образом, могут иметь плохие характеристики, хотя существуют ситуации, в которых ничего лучшего сделать невозможно. Мы не утверждаем, что оценки наименьших квадратов всегда единственно подходящие для данного случая. Это как раз не гак: но, если наблюдения имеют определенное распределение вероятностей, эти оценки могут даже обладать оптимальными статистическими свойствами, которые будут описаны в последующем изложении.
В задачах подгонки кривых, когда коэффициенты не имеют физического смысла, метод наименьших квадратов обычно является подходящим.
Введем обозначение: прописная жирная буква меньшего размера будет обозначать вектор, образованный соединением соседних строк матрицы, обозначенной той же буквой. Итак,
Процедура наименьших квадратов в простейшем виде состоит в нахождении значений
, минимизирующих функцию
или в виде суммы
т. е. минимизируется сумма квадратов остатков. Если
мы говорим об однооткликовом методе наименьших квадратов. Практически большинство задач оценивания попадает в эту категорию. Типовая задача разбирается детально в разделе 5.21.
Мы легко можем получить нормальные уравнения:
В более общем случае однсюткликовой приведенной модели
и мы имеем