Глава 8. СТАТИСТИЧЕСКИЕ СВОЙСТВА ОЦЕНКИ МНК

8.1. Непрерывность и асимптотические свойства оценки МНК

Исследование статистических свойств оценок МНК в нелинейной регрессии технически весьма сложно. При конечном объеме выборки для установления свойств оценки МНК необходимо знать конкретный вид функции регрессии.

Прежде чем переходить к рассмотрению статистических свойств оценки МНК, обратим внимание на следующий

факт: оценка МНК может не существовать с вероятностью, большей нуля. Для примера рассмотрим регрессию

в которой Если для всех то оценка МНК не существует. Если же предположить, например, что то и оценка МНК не существует для регрессии (8.1) с вероятностью, большей нуля. Естественно, говорить о непрерывности, состоятельности и других свойствах оценки невозможно, если с положительной вероятностью она не существует. Поэтому в дальнейшем будем предполагать, что компактное (т. е. замкнутое и ограниченное) множество в Практически это ограничение не будет жестким, поскольку всегда может быть выбрано произвольных размеров; компактность нам необходима только из теоретических соображений. По-прежнему будем считать непрерывными функциями на 0, а регрессию — идентифицированной. Компактность и непрерывность влечет компактность образа (см. параграф 7.1). Идентифицируемость регрессии означает существование обратного отображения на Нетрудно показать, что отображение будет также непрерывным (см., например, [39, с. 95]).

Компактность в влечет существование оценки для любого Оценка МНК по определению минимизирует сумму квадратов отклонений

В общем случае может существовать несколько оценок МНК. Р. Дженрич -показал, что в этом случае для каждого у можно выбрать так, чтобы оценка МНК стала измеримой функцией. В статье [22] показано, что если оценка МНК единственна, то она непрерывна по у.

Теорема 8.1. Пусть вышеперечисленные условия выполняются. Если для любого существует единственная оценка МНК, то она является непрерывной функцией у.

Теорема 8.1 означает, что малые изменения в наблюдениях приводят к малым изменениям оценки МНК.

Теперь перейдем к асимптотическим свойствам оценки МНК. Начнем с состоятельности. Под состоятельностью

в слабом смысле понимаем сходимость по вероятности оценки к истинному значению вектора параметров говорим, что состоятельная оценка, если для любого

Оценка строго состоятельна, если сходимость к истинному значению вектора параметров происходит почти наверное, т. е. с вероятностью, равной 1. Можно показать, что строгая состоятельность влечет состоятельность в слабом смысле.

Теорема 8.2 [140]. Пусть В — компактное множество, непрерывные функции регрессий на В. Допустим, отклонения регрессии независимы и одинаково распределены. Предположим также, что для любых в существует предел

причем сходимость в (8.4) равномерная, и тогда и только тогда, когда Тогда оценка МНК строго состоятельна, т. е. где истинное значение вектора параметров.

Доказательство этой теоремы приведено в параграфе 8.5. Рассмотрим, что означает условие (8.4) для линейной регрессии Имеем

где матрица вектор-строками которой являются Таким образом, (8.4) означает, что т. е. сильную регулярность матриц

Э. Маленво [156] также доказал состоятельность оценки МНК при условии (8.4), однако он не предполагал компактности в. Вместо этого он рассмотрел другую гипотезу: оценка МНК существует и единственна, причем существует действительное число и компактное

множество , содержащее истинное значение такие, что, начиная с некоторого

для любого

Проанализируем условия состоятельности оценки МНК Дженрича и Маленво. Существование предела (8.4) соответствует регулярному поведению матриц в линейной регрессии (1.38). Это условие, как правило, не выполняется для регрессий-трендов и поэтому является весьма ограничительным. Маленво сделал попытку отказаться от компактности в, однако, во-первых, он вынужден был предположить существование оценки МНК, а, во-вторых, для этого необходима выполнимость (8.5), что накладывает ограничение на сверху.

Было найдено необходимое условие состоятельности оценки МНК в нелинейной регрессии. Можно показать, что если то для состоятельности оценки МНК необходимо, чтобы

при условии, что все остальные стандартные условия, налагаемые на нелинейную регрессию, выполнены. Приведенное условие является необходимым и достаточным для линейной регрессии. Докажем это. В линейной регрессии поэтому

где матрица вектор-строки которой суть Докажем, что если для любого при то и выполнено условие Эйкера (1.39). Положим причем Имеем поэтому для любого единичной сфере в В силу компактности и монотонности последовательности функций сходимость будет равномерной на поэтому

что требовалось показать. Обратное очевидно.

Если независимы и одинаково распределены с плотностью, вторая производная которой не обращается в нуль вне некоторого интервала, и существуют для которых то вообще состоятельной оценки не существует [44].

Перейдем к асимптотической нормальности оценки МНК. Помимо (8.4), предположим, что вторые производные равномерно ограничены в совокупности, т. е. найдется такое число что для всех

Далее предположим, что при

равномерно матрица причем

Теорема 8.3. Пусть условия теоремы 8.2 выполняются, т. е. строго состоятельная оценка Предположим также, что является внутренней точкой почти наверное. Тогда если условия (8.6) и (8.7) выполняются, то оценка МНК является асимптотически нормальной:

Доказательство теоремы приведено в параграфе 8.5. Теорема 8.3 помогает найти приближенную матрицу ковариаций оценки МНК. Так, положим

где

— состоятельная оценка Матрица (8.8) совпадает с матрицей ковариаций оценки МНК линейной регрессии (7.18), которая является линеаризацией исходной регрессии (7.2) в точке а; здесь

Упражнения 8.1

(см. скан)