1.7. Состоятельность и асимптотическая нормальность оценки МНК

Рассмотрим поведение оценки МНК при увеличении числа наблюдений, т. е. остановимся на ее асимптотических свойствах.

По-видимому, самым слабым, и поэтому самым жела тельным, необходимым свойством любой оценки является состоятельность. Под состоятельностью оценки понимается возрастающая до бесконечности точность оценивания при увеличении числа наблюдений. Таким образом, статистика состоятельно оценивает а (здесь индекс указывает на то, что оценка а построена на основе первых наблюдений если при разброс около истинного значения а стремится к нулю.

Исходя из различных толкований понятия «разброс» получают различные виды состоятельности. Приведем некоторые, наиболее часто встречающиеся виды состоятельности (сходимости).

1. Просто состоятельность, или слабая состоятельность, опирается на понятие сходимости случайных величин по вероятности. Последовательность (одномерных) оценок состоятельно оценивает (одномерный) параметр а, если для любого числа вероятность того, что стремится к нулю при

Это записываем как

2. Сильная состоятельность опирается на понятие сходимости с вероятностью 1. Так, последовательность сильно состоятельно оценивает а, если вероятность того, что равна 1, т. е.

3. Состоятельность в среднем квадратичном. сходится к (оценивает) а в среднем квадратичном, если квадрата отклонения стремится к нулю при т. е.

Это записываем как

И хотя эти три определения состоятельности различны с математической точки зрения, все они отражают одну качественную картину — «сведение на нет» разброса оценки около истинного значения при

Первое определение самое слабое: состоятельность в среднем квадратичном и сильная состоятельность влекут

состоятельность в слабом смысле. Первое утверждение следует из неравенства Чебышева

При любом если левая часть (1.37) стремится к нулю. Второе утверждение здесь доказывать не будем. Если нет дополнительной информации, нельзя доказать, что сильная состоятельность влечет состоятельность в среднем квадратичном, или наоборот.

В статистике чаще используют слабую состоятельность. Однако часто легче доказать состоятельность в среднем квадратичном. Состоятельность тогда следует из неравенства Чебышева (1.37). Многомерная статистика состоятельно оценивает многомерный параметр а в каком-либо смысле 1—3, если соответствующая состоятельность имеет место для каждой координаты В частности, легко показать, что в среднем квадратичном тогда и только тогда, когда нулевая матрица Этим фактом мы часто будем пользоваться.

Очевидно, для доказательства состоятельности оценки МНК необходимо сделать какие-либо ограничения на рост независимых переменных, т. е. на матрицу (В этом параграфе оценку МНК а и матрицу X будем сопровождать индексом Как правило, используют условие сильной регулярности матриц

Сильная регулярность независимых переменных:

где А — невырожденная конечная матрица

Теорема 1.4. Если предположения выполнены, а матрицы сильно регулярны, то оценка МНК состоятельна в среднем квадратичном.

Доказательство. Теорема будет доказана, если мы докажем, что

Из условия регулярности и невырожденности А следует:

поэтому что доказывает теорему.

Усйовие сильной регулярности является слишком обременительным. Оно, в частности, не выполняется в регрессиях на время, т. е. при выделении трендов. Можно доказать, что если последовательность неотрицательных чисел, причем

то последовательность не стремится к т. е. можно выбрать ограниченную подпоследовательность. Если последовательность возрастающая, то ограниченность средних влечет ограниченность самой последовательности. Данные рассуждения могут быть перенесены на элементы матрицы если положить Пример. Рассмотрим регрессию на время

Оценка МНК состоятельна, так как

С другой стороны, условие сильной регулярности не выполняется:

Аналогично можно показать, что в любой регрессии, в которой присутствует монотонно возрастающий фактор времени, предположение (1.38) неверно.

Существует необходимое и достаточное условие состоятельности оценки МНК, которое выражается через характеристические числа матрицы

Условие Эйкера [97]: минимальное характеристическое число матрицы стремится к при

Теорема 1.5. Пусть предположения выполняются для всех начиная с некоторого Тогда условие Эйкера (1.39) эквивалентно состоятельности оценки МНК в среднем квадратичном.

Доказательство этой теоремы дано в параграфе 1.11.

Насколько жестким является условие состоятельности оценки МНК? Насколько «вероятно» его выполнение на практике? Для того чтобы ответить на эти вопросы, заметим, что есть квадрат минимальной длины вектора, являющегося линейной комбинацией вектор-столбцов матрицы Более строго, пусть вектор коэффициентов линейной комбинации, тогда

Таким образом, можно трактовать как показатель вырожденности или как меру линейной зависимости переменных (более подробно об измерении степени линейной зависимости см. параграф 5.1). Поэтому можно сказать, что оценка МНК состоятельна тогда и только тогда, когда степень линейной независимости растет до бесконечности.

Использовать на практике условие Эйкера весьма сложно. Часто легче непосредственно установить факт чем доказать (1.39). Можно предложить более простой критерий состоятельности оценки МНК. Для этого построим для матрицы матрицу сопряженности По определению

Другими словами, есть косинус угла между векторами и в евклидовом пространстве Матрица сопряженности похожа на матрицу корреляций отличие лишь в том, что в матрице корреляций рассматриваются отклонения от соответствующей средней Выбирая термин «матрица сопряженности», мы тем самым подчеркиваем, что не случайные векторы, как это необходимо считать при вычислении матрицы корреляций.

Более точно, есть матрица парных коэффициентов сопряженности.

Теорема 1.6. Если:

а) для любого при

то оценка МНК состоятельна (в среднем квадратичном). Доказательство этой теоремы дано в параграфе 1.11. Пример. Докажем с помощью теоремы 1.6 состоятельность оценки МНК в регрессии на время Применим формулы Условие а) очевидно выполняется, проверим выполнимость условия б). Для данной регрессии

т. е. условие б) теоремы 1.6 выполнено, значит, оценка МНК состоятельна.

Говоря об оценке МНК, мы имеем в виду оценку параметров регрессии Однако имеется еще один неизвестный параметр В качестве несмещенной оценки этого параметра мы предлагаем статистику Замечательно, что состоятельность верна без какого-либо предположения об изменении матрицы

Теорема 1.7 [146]. Пусть все предположения выполнены для всех Тогда

Доказательство см. в параграфе 1.11.

Прежде чем приступить к исследованию асимптотической нормальности оценки МНК, дадим определение асимптотически нормальной последовательности оценок. Пусть

последовательность некоторых одномерных оценок. Эта последовательность асимптотически нормальна, если найдутся такие константы что оценка сходится по распределению к случайной нормальной величине Если математическое ожидание и дисперсия конечны, то их можно использовать в качестве нормирующих констант, т. е. положить тогда

Аналогичное определение вводится и в многомерном случае; здесь нормирующими константами будут невырожденная матрица и вектор. Как правило, мы выбираем квадратный корень из матрицы ковариаций и вектор математического ожидания, тогда где и предельное распределение есть

Легко проверить, что стандартизованной по такому правилу оценкой МНК является

где

матрица

Теорема 1.8. Допустим, независимы и одинаково распределены. Оценка МНК асимптотически нормальна тогда и только тогда, когда для каждого

где элемент матрицы

Доказательство см. в параграфе 1.11.

Замечания: 1. Так же как и в состоятельности, здесь накладывается определенное ограничение на изменение независимых переменных при Это ограничение определяется условием (1.43), которое отражает равномерное убывание элементов матрицы

2. Для доказательства асимптотической нормальности оценки МНК мы требуем выполнения более жесткого условия, чем предположение Г: независимости и одинаковой распределенности отклонений.

Широко распространено ошибочное мнение, что оценка МНК асимптотически нормально распределена в условиях сильной регулярности матриц Маленво даже «доказывает», что если отклонения независимы и одинаково распределены, а матрицы сильно регулярны, то оценка МНК асимптотически нормальна. Его доказательство содержит ошибку [48, с. 232]. Дело в том, что из условия (1.38) не следует, что стремится к нулю при для любого а именно последнее условие необходимо для применения центральной предельной теоремы при доказательстве асимптотической нормальности оценки МНК. В параграфе 1.11 приведен соответствующий пример.

Теорема 1.9. Если независимы и одинаково распределены, матрицы сильно регулярны (уравнение (1.38)), причем для любого то оценка МНК асимптотически нормальна, более того,

Доказательство. Докажем, что условия теоремы приводят к (1.43). Действительно,

Но, как следует из условия теоремы,

Из второго условия теоремы следует — что окончательно ведет к выполнению (1.43). Доказательство последнего утверждения теоремы предоставляем читателю.

Пример. Рассмотрим регрессию где некоторое число, большее 1. Тогда

т. е. (1.39) выполнено, но

т. e. (1.43) не выполнено. Значит, оценка МНК состоятельна, но не асимптотически нормальна. В данном примере по объясняется быстрым (экспоненциальным) ростом ряда

Применение теоремы 1.8 довольно затруднительно. Приведем более простое условие — достаточный критерий Андерсона [6, с. 35—37].

Теорема 1.10 (достаточный критерий асимптотической нормальности). Если независимы, одинаково распределены и

а) (см. уравнение (1.40)),

б) для любого при , то оценка МНК асимптотически нормальна. Доказательство см. в параграфе 1.11.

Пример. Докажем, применяя теорему 1.10, асимптотическую нормальность оценки МНК в регрессии на время: Условие а) было проверено ранее при доказательстве состоятельности оценки. Рассмотрим условие б):

Условия теоремы выполняются, значит, оценка МНК асимптотически нормальна.

Что дают нам теоремы о состоятельности и асимптотической нормальности оценки МНК? С теоретической точки прения первое свойство заключается в том, что с ростом числа наблюдений при определенных ограничениях на независимые переменные точность оценивания бесконечно чозрастает. Второе свойство делает возможным при больших и опять же при определенных условиях на независимые переменные считать распределение оценки МНК приблизительно нормальным Это свойство

является весьма важным, так как построение удовлетворительных доверительных интервалов и проверка гипотез относительно параметров регрессии возможны только при известном распределении отклонений регрессии. Вместе с тем использовать условия состоятельности и асимптотической нормальности оценки МНК можно практически только в регрессиях, где правая часть есть функция времени в регрессиях-трендах. В регрессиях планируемого эксперимента эксперименты необходимо ставить таким образом, чтобы с ростом условия (1.39) и (1.43) выполнялись. Тогда оценка МНК будет сходиться к истинному значению параметров а, и распределение оценки будет близко к нормальному.

Упражнения 1.7

(см. скан)