8.6.3. Метод наименьших квадратов.

Рассмотрим функцию известного вида от неизвестного векторного параметра и многомерной (неслучайной) переменной характеризующей условия проведения случайного эксперимента (наблюдения).

Пусть в результате эксперимента (наблюдения) мы регистрируем (при точном знании величины «сопутствующей» переменной значение функции ) со случайной ошибкой (см. также (3.9)):

Требуется по наблюдениям как можно точнее оценить параметры . В отличие от предыдущих схем оценивания (см. п. 8.6.1, 8.6.2) в данном случае мы не обязаны задаваться общим видом закона распределения ошибок (а следовательно, и случайных величин ).

Метод наименьших квадратов определяет оценку неизвестного параметра из условия

При весьма общих предположениях о природе случайных ошибок и структуре функций оценки, удовлетворяющие соотношению (8.27), являются состоятельными, асимптотически-несмещенными, асимптотически-нормальными и асимптотически-эффективными (см., например, [71, гл. 4]). Укажем здесь лишь некоторые основные требования к , соблюдение которых обеспечивает хорошие свойства оценок по методу наименьших квадратов:

а) случайные остатки имеют нулевые средние значения и одинаковые конечные дисперсии не зависящие ни от номера наблюдения i, ни от параметра

б) функция непрерывна и дифференцируема по всем параметрам

Способ вычисления оценок наименьших квадратов опирается на тот факт, что если является точкой минимума критерия

то оценки должны удовлетворять системе так называемых нормальных уравнений:

Или, что то же, оценки наименьших квадратов неизвестных параметров определяются как решение системы уравнений:

Представим описанные результаты в частном случае, когда функция является линейной и по сопутствующим переменным X, и по параметрам 0. Вновь «возвращаясь к матричным обозначениям гл. 3, а именно вводя в рассмотрение матрицу наблюдений (или «матрицу плана»)

и вектор-столбцы наблюдений исследуемой зависимой переменной и остаточных случайных компонент имеем (см. также (3.5)) . Соответственно

а система нормальных уравнений имеет вид

Матричная запись решения этой системы дает

Геометрическая интерпретация мнк-оценок в линейном случае.

Рассмотрим -мерное пространство векторов введем в нем расстояние между двумя векторами положив

В пространстве выделим линейное подпространство Т, натянутое на вектор-столбцы матрицы X, или, что то же самое, подпространство, образованное всеми векторами вида , где . Очевидно, что размерность Т совпадает с — рангом X, а потому не превосходит и равна только тогда, когда . Обозначим через S совокупность векторов в каждый из которых перпендикулярен подпространству Т. Размерность S равна Любой вектор U в однозначно разлагается на два взаимно перпендикулярных слагаемых:

таких, что . При этом является проекцией U на — проекцией U на

Оценка по методу наименьших квадратов (мнк-оценка) дает такое значение вектору , при котором длина вектора остатков минимальна, а это означает, что поиск мнк-оценки соответствует проектированию Y на Т и что . Поскольку разложение любого вектора в виде суммы вида (8.30) единственно, величина критерия имеет одно и то же значение для всех мнк-оценок, о чем уже сказано выше.

Рассмотрим теперь более подробно проекции Y на Т и S. Согласно базовому предположению (3.6) вектор ошибок имеет нормальное распределение в с нулевым средним и дисперсией по любому направлению, равной Представим его в виде Тогда

Из (8.32) с учетом размерности S и определения (см. п. 6.2.1) сразу же следует, что имеет -распределение. Отсюда для может быть предложена несмещенная оценка

Оптимальное свойство мнк-оценок.

В случае, когда единственная мнк-оценка определяется формулой (8.29), из которой с учетом предположений (3.6) следует, что

т. е. что единственная мнк-оценка является несмещенной (см. § 8.1). Покажем теперь, что среди всех линейных несмещенных оценок векторного параметра вида (таких, что ) имеет наименьшую обобщенную дисперсию (см. п. 5.6.7), равную

Для этого каждую вектор-строку матрицы А спроектируем на подпространства Т и S и из проекций соберем соответственно матрицы Поскольку то

Вектор-строки матрицы принадлежат S, т. е. перпендикулярны вектор-столбцам X, и, следовательно, второе слагаемое в (8.37) равно нулю. С учетом несмещенности отсюда следует, что векторы и должны совпадать при всех значениях . Это, принимая во внимание ранг X и принадлежность вектор-строк матриц к подпространству Т, возможно лишь когда

С другой стороны, учитывая разложение (8.3) для F, получаем, что

так как вектор-строки принадлежат взаимно перпендикулярным пространствам. Из (8.36), (8.38) и (8.39) следует, что произвольная линейная несмещенная оценка представима в виде

причем оба слагаемых в правой части (8.4) лежат в перпендикулярных подпространствах, а потому независимы.

Утверждение об оптимальности мнк-оценки следует сразу же из представления (8.40). самом деле, ковариационная матрица компонент оценки равна

где — некоторая неотрицательно-определенная матрица. Рассмотрим некоторые частные примеры.

1. В частном случае условия проведения наших наблюдений могут оставаться неизменными, тогда анализируемая функция не будет зависеть от сопутствующей переменной X. Пусть, в частности, так что т. е. задача сводится к оценке наблюдаемого со случайной ошибкой параметра и, быть может, дисперсии этой ошибки Критерий метода наименьших квадратов в данном примере имеет вид

Система нормальных уравнений (8.28) (состоящая в данном случае из одного уравнения) имеет вид

откуда

Если дополнительно предположить нормальность ошибки , то оценка по методу наименьших квадратов совпадает с оценкой полученной ранее методом максимального правдоподобия, неизвестного среднего значения нормальной случайной величины.

2. Пусть причем (т. е. не меняется в ходе наблюдений), а В качестве наблюдений мы имеем

Требуется оценить по этим наблюдениям параметры (задачу оценивания параметров в линейной модели парной регрессии, см., например, [6]).

Критерий метода наименьших квадратов в данном примере

Система нормальных уравнений (8.28) запишется:

откуда получаем:

где как обычно, средние арифметические величин соответственно .

Подробные сведения о методе наименьших квадратов можно найти, например, в [48], [71].

История развития метода, по-видимому, начинается с работы Лежандра 1805 г. «Новые методы определения орбит комет», в которой был впервые предложен функционал вида (8.27) как критерий качества оценивания.

Первое теоретико-вероятностное обоснование метода наименьших квадратов дано в работах Гаусса в 1809 и 1821 гг. В более общем виде теорема Гаусса о свойствах оценок наименьших квадратов сформулирована и доказана А. Марковым в 1912 г.

Метод наименьших квадратов получил самое широкое распространение в практике статистических исследований в первую очередь благодаря двум главным своим преимуществам: во-первых, он не требует знания закона распределения обрабатываемых наблюдений, во-вторых, он достаточно хорошо разработан в плане вычислительной реализации.