8.6.3. Метод наименьших квадратов.

Рассмотрим функцию известного вида от неизвестного векторного параметра и многомерной (неслучайной) переменной характеризующей условия проведения случайного эксперимента (наблюдения). Пусть в результате эксперимента (наблюдения) мы регистрируем (при точном знании величины «сопутствующей»

переменной значение функции со случайной ошибкой также ):

Требуется по наблюдениям как можно точнее оценить параметры . В отличие от предыдущих схем оценивания (см. п. 8.6.1, 8.6.2) в данном случае мы не обязаны задаваться общим видом закона распределения ошибок (а следовательно, и случайных величин ).

Метод наименьших квадратов определяет оценку неизвестного параметра из условия

При весьма общих предположениях о природе случайных ошибок и структуре функций оценки, удовлетворяющие соотношению (8.27), являются состоятельными, асимптотически-несмещенными, асимптотически-нормальными и асимптотически-эффективными (см., например, [71, гл. 4]). Укажем здесь лишь некоторые основные требования к , соблюдение которых обеспечивает хорошие свойства оценок по методу наименьших квадратов:

а) случайные остатки имеют нулевые средние значения и одинаковые конечные дисперсии не зависящие ни от номера наблюдения ни от параметра

б) функция непрерывна и дифференцируема по всем параметрам

Способ вычисления оценок наименьших квадратов опирается на тот факт, что если является точкой минимума критерия

то оценки должны удовлетворять системе так называемых нормальных уравнений:

Или, что то же, оценки наименьших квадратов неизвестных параметров определяются как решение системы уравнений:

Представим описанные результаты в частном случае, когда функция является линейной и по сопутствующим переменным X, и по параметрам Вновь «возвращаясь к матричным обозначениям гл. 3, а именно вводя в рассмотрение матрицу наблюдений (или «матрицу плана»)

и вектор-столбцы наблюдений исследуемой зависимой переменной и остаточных случайных компонент имеем (см. также (3.5)) . Соответственно

а система нормальных уравнений имеет вид

Матричная запись решения этой системы дает

Геометрическая интерпретация мнк-оценок в линейном случае. Рассмотрим -мерное пространство векторов

введем в нем расстояние между двумя векторами положив

В пространстве выделим линейное подпространство Т, натянутое на вектор-столбцы матрицы X, или, что то же самое, подпространство, образованное всеми векторами вида где Очевидно, что размерность Т совпадает с — рангом X, а потому не превосходит и равна только тогда, когда Обозначим через S совокупность векторов в каждый из которых перпендикулярен подпространству Т. Размерность S равна Любой вектор U в однозначно разлагается на два взаимно перпендикулярных слагаемых:

таких, что . При этом является проекцией U на — проекцией U на

Оценка по методу наименьших квадратов (мнк-оценка)

дает такое значение вектору , при котором длина вектора остатков минимальна, а это означает, что поиск мнк-оценки соответствует проектированию Y на Т и что Поскольку разложение любого вектора в виде суммы вида (8.30) единственно, величина критерия имеет одно и то же значение для всех мнк-оценок, о чем уже сказано выше.

Рассмотрим теперь более подробно проекции Y на Т и S. Согласно базовому предположению (3.6) вектор ошибок имеет нормальное распределение в с нулевым средним и дисперсией по любому направлению, равной Представим его в виде Тогда

Из (8.32) с учетом размерности S и определения (см. п. 6.2.1) сразу же следует, что имеет -распределение. Отсюда для может быть предложена несмещенная оценка

Оптимальное свойство мнк-оценок. В случае, когда единственная мнк-оценка определяется формулой

(8.29), из которой с учетом предположений (3.6) следует, что

т. е. что единственная мнк-оценка является несмещенной (см. § 8.1). Покажем теперь, что среди всех линейных несмещенных оценок векторного параметра вида (таких, что ) имеет наименьшую обобщенную дисперсию (см. п. 5.6.7), равную

Для этого каждую вектор-строку матрицы А спроектируем на подпространства и из проекций соберем соответственно матрицы Поскольку , то

Вектор-строки матрицы принадлежат S, т. е. перпендикулярны вектор-столбцам X, и, следовательно, второе слагаемое в (8.37) равно нулю. С учетом несмещенности отсюда следует, что векторы и должны совпадать при всех значениях . Это, принимая во внимание ранг X и принадлежность вектор-строк матриц к подпространству Т, возможно лишь когда

С другой стороны, учитывая разложение (8.30) для F, получаем, что

так как вектор-строки принадлежат взаимно перпендикулярным пространствам. Из (8.36), (8.38) и (8.39) следует, что произвольная линейная несмещенная оценка 0 представима в виде

причем оба слагаемых в правой части (8.40) лежат в перпендикулярных подпространствах, а потому независимы. Утверждение об оптимальности мнк-оценки следует сразу же

из представления (8.40). В самом деле, ковариационная Матрица компонент оценки 0 равна

где — некоторая неотрицательно-определенная матрица. Рассмотрим некоторые частные примеры.

1. В частном случае условия проведения наших наблюдений могут оставаться неизменными, тогда анализируемая функция не будет зависеть от сопутствующей переменной X. Пусть, в частности, , так что , т. е. задача сводится к оценке наблюдаемого со случайной ошибкой параметра и, быть может, дисперсии этой ошибки Критерий метода наименьших квадратов в данном примере имеет вид

Система нормальных уравнений (8.28) (состоящая в данном случае из одного уравнения) имеет вид

откуда

Если дополнительно предположить нормальность ошибки , то оценка по методу наименьших квадратов совпадает с оценкой полученной ранее методом максимального правдоподобия, неизвестного среднего значения нормальной случайной величины.

2. Пусть причем (т. е. не меняется в ходе наблюдений), а . В качестве наблюдений мы имеем

Требуется оценить по этим наблюдениям параметры (задачу оценивания параметров в линейной модели парной регрессии, см., например, [6]).

Критерий метода наименьших квадратов в данном примере

Система нормальных уравнений (8.28) запишется:

откуда получаем:

где как обычно, средние арифметические величин соответственно .

Подробные сведения о методе наименьших квадратов можно найти, например, в [48], [71].

История развития метода, по-видимому, начинается с работы Лежандра 1805 г. «Новые методы определения орбит комет», в которой был впервые предложен функционал вида (8.27) как критерий качества оценивания.

Первое теоретико-вероятностное обоснование метода наименьших квадратов дано в работах Гаусса в 1809 и 1821 гг. В более общем виде теорема Гаусса о свойствах оценок наименьших квадратов сформулирована и доказана А. Марковым в 1912 г.

Метод наименьших квадратов получил самое широкое распространение в практике статистических исследований в первую очередь благодаря двум главным своим преимуществам: во-первых, он не требует знания закона распределения обрабатываемых наблюдений, во-вторых, он достаточно хорошо разработан в плане вычислительной реализации.