переменной
значение
функции
со случайной ошибкой
также
):
Требуется по наблюдениям
как можно точнее оценить параметры
. В отличие от предыдущих схем оценивания (см. п. 8.6.1, 8.6.2) в данном случае мы не обязаны задаваться общим видом закона распределения ошибок
(а следовательно, и случайных величин
).
Метод наименьших квадратов определяет оценку
неизвестного параметра
из условия
При весьма общих предположениях о природе случайных ошибок
и структуре функций
оценки, удовлетворяющие соотношению (8.27), являются состоятельными, асимптотически-несмещенными, асимптотически-нормальными и асимптотически-эффективными (см., например, [71, гл. 4]). Укажем здесь лишь некоторые основные требования к
, соблюдение которых обеспечивает хорошие свойства оценок по методу наименьших квадратов:
а) случайные остатки
имеют нулевые средние значения
и одинаковые конечные дисперсии
не зависящие ни от номера наблюдения
ни от параметра
б) функция
непрерывна и дифференцируема по всем параметрам
Способ вычисления оценок наименьших квадратов
опирается на тот факт, что если
является точкой минимума критерия
то оценки
должны удовлетворять системе так называемых нормальных уравнений:
Или, что то же, оценки наименьших квадратов
неизвестных параметров
определяются как решение системы уравнений:
Представим описанные результаты в частном случае, когда функция
является линейной и по сопутствующим переменным X, и по параметрам
Вновь «возвращаясь к матричным обозначениям гл. 3, а именно вводя в рассмотрение матрицу наблюдений (или «матрицу плана»)
и вектор-столбцы наблюдений исследуемой зависимой переменной
и остаточных случайных компонент
имеем (см. также (3.5))
. Соответственно
а система нормальных уравнений имеет вид
Матричная запись решения этой системы дает
Геометрическая интерпретация мнк-оценок в линейном случае. Рассмотрим
-мерное пространство векторов
введем в нем расстояние
между двумя векторами
положив
В пространстве
выделим линейное подпространство Т, натянутое на вектор-столбцы матрицы X, или, что то же самое, подпространство, образованное всеми векторами вида
где
Очевидно, что размерность Т совпадает с
— рангом X, а потому не превосходит
и равна
только тогда, когда
Обозначим через S совокупность векторов в
каждый из которых перпендикулярен подпространству Т. Размерность S равна
Любой вектор U в
однозначно разлагается на два взаимно перпендикулярных слагаемых:
таких, что
. При этом
является проекцией U на
— проекцией U на
Оценка по методу наименьших квадратов (мнк-оценка)
дает такое значение вектору
, при котором длина вектора остатков
минимальна, а это означает, что поиск мнк-оценки соответствует проектированию Y на Т и что
Поскольку разложение любого вектора в виде суммы вида (8.30) единственно, величина критерия
имеет одно и то же значение для всех мнк-оценок, о чем уже сказано выше.
Рассмотрим теперь более подробно проекции Y на Т и S. Согласно базовому предположению (3.6) вектор ошибок имеет нормальное распределение в
с нулевым средним и дисперсией по любому направлению, равной
Представим его в виде
Тогда
Из (8.32) с учетом размерности S и определения
(см. п. 6.2.1) сразу же следует, что
имеет
-распределение. Отсюда для
может быть предложена несмещенная оценка
Оптимальное свойство мнк-оценок. В случае, когда
единственная мнк-оценка определяется формулой
(8.29), из которой с учетом предположений (3.6) следует, что
т. е. что единственная мнк-оценка является несмещенной (см. § 8.1). Покажем теперь, что среди всех линейных несмещенных оценок векторного параметра
вида
(таких, что
)
имеет наименьшую обобщенную дисперсию (см. п. 5.6.7), равную
Для этого каждую вектор-строку матрицы А спроектируем на подпространства
и из проекций соберем соответственно матрицы
Поскольку
, то
Вектор-строки матрицы
принадлежат S, т. е. перпендикулярны вектор-столбцам X, и, следовательно, второе слагаемое в (8.37) равно нулю. С учетом несмещенности
отсюда следует, что векторы
и
должны совпадать при всех значениях
. Это, принимая во внимание ранг X и принадлежность вектор-строк матриц
к подпространству Т, возможно лишь когда
С другой стороны, учитывая разложение (8.30) для F, получаем, что
так как вектор-строки
принадлежат взаимно перпендикулярным пространствам. Из (8.36), (8.38) и (8.39) следует, что произвольная линейная несмещенная оценка 0 представима в виде
причем оба слагаемых в правой части (8.40) лежат в перпендикулярных подпространствах, а потому независимы. Утверждение об оптимальности мнк-оценки следует сразу же
из представления (8.40). В самом деле, ковариационная Матрица компонент оценки 0 равна
где
— некоторая неотрицательно-определенная матрица. Рассмотрим некоторые частные примеры.
1. В частном случае условия проведения наших наблюдений могут оставаться неизменными, тогда анализируемая функция
не будет зависеть от сопутствующей переменной X. Пусть, в частности,
, так что
, т. е. задача сводится к оценке наблюдаемого со случайной ошибкой параметра
и, быть может, дисперсии этой ошибки
Критерий метода наименьших квадратов в данном примере имеет вид
Система нормальных уравнений (8.28) (состоящая в данном случае из одного уравнения) имеет вид
откуда
Если дополнительно предположить нормальность ошибки
, то оценка по методу наименьших квадратов
совпадает с оценкой
полученной ранее методом максимального правдоподобия, неизвестного среднего значения нормальной случайной величины.
2. Пусть
причем (т. е. не меняется в ходе наблюдений), а
. В качестве наблюдений мы имеем
Требуется оценить по этим наблюдениям параметры
(задачу оценивания параметров в линейной модели парной регрессии, см., например, [6]).
Критерий метода наименьших квадратов в данном примере
Система нормальных уравнений (8.28) запишется:
откуда получаем:
где
как обычно, средние арифметические величин соответственно
.
Подробные сведения о методе наименьших квадратов можно найти, например, в [48], [71].
История развития метода, по-видимому, начинается с работы Лежандра 1805 г. «Новые методы определения орбит комет», в которой был впервые предложен функционал вида (8.27) как критерий качества оценивания.
Первое теоретико-вероятностное обоснование метода наименьших квадратов дано в работах Гаусса в 1809 и 1821 гг. В более общем виде теорема Гаусса о свойствах оценок наименьших квадратов сформулирована и доказана А. Марковым в 1912 г.
Метод наименьших квадратов получил самое широкое распространение в практике статистических исследований в первую очередь благодаря двум главным своим преимуществам: во-первых, он не требует знания закона распределения обрабатываемых наблюдений, во-вторых, он достаточно хорошо разработан в плане вычислительной реализации.