Глава 2. ДРУГИЕ ВОПРОСЫ ЛИНЕЙНОЙ РЕГРЕССИИ

2.1. Взвешенный МНК. Оценка Эйткена

В классической регрессии предполагается, что отклонения в регрессии не коррелируют друг с другом (предположение параграфа 1.1). Это довольно жесткое условие, которое весьма редко выполняется для временных рядов; вероятно тогда, что отклонения момента времени тесно связаны с отклонениями момента. Ослабим

предположение и допустим, что ковариационная матрица отклонений не обязательно имеет вид хотя и известна с точностью до постоянного множителя.

Предположение где известная положительно определенная матрица, -неизвестный параметр. На протяжении этого параграфа будем считать, что предположение выполнено.

Уравнение регрессии

некоторым преобразованием может быть сведено к классическому

Известно, что любую положительно определенную матрицу можно представить в виде где невырожденная матрица, алгоритм вычисления которой дается в [27, с. 287]. Положим

Легко проверить, что для нового уравнения регрессии выполняются все предположения параграфа 1.1, при этом параметры, которые необходимо оценивать, остаются без изменения. Естественно для их оценивания воспользоваться МНК, который применим к уравнению (2.2):

Как видно из этого выражения, для оценивания а в исходном уравнении (2.1) необходимо применять взвешенный МНК. Суть его нетрудно понять. Матрица ковариаций представляет собой совокупность ковариаций и дисперсий у. Чем больше разброс тем менее это наблюдение должно учитываться при оценивании параметров регрессии. Оценку взвешенного (обобщенного) МНК можно получить, непосредственно минимизируя (2.4) или же как обычную оценку МНК из «нормализованной» регрессии (2.2):

В экономико-статистической литературе оценку (2.5) называют оценкой Эйткена [71], в теоретической литературе по математической статистике — оценкой

Гаусса-Mapкова. Мы ее будем называть оценкой Эйткена. Читатель может убедиться в том, что

Аналогично теореме Гаусса-Маркова в случае может быть доказана следующая теорема.

Теорема 2.1 (обобщенная теорема Гаусса-Маркова). Оценка Эйткена является:

а) несмещенной;

б) эффективной в классе несмещенных оценок, линейных по у. Несмещенной оценкой в нашем случае является

Теорема 2.2. Если отклонения нормальны, то:

а) оценка Эйткена совпадает с оценкой ММП;

б) оценка Эйткена имеет распределение

и а независимо распределены,

д) оценка Эйткена является эффективной в классе всех несмещенных оценок.

Аналогично (1.39) в условиях предположения возможно разложение

Можно определить эффект перехода от модели к модели (2.1) со свободным членом

Процедура проверок гипотез и доверительного оценивания также практически мало изменится при переходе к модели (2.1). Всюду вместо обычной суммы квадратов отклонений необходимо брать взвешенную. Например, совместный доверительный интервал для а с коэффициентом доверия равен:

где рассчитывается по формуле (2.7).

Из асимптотических свойств оценки Эйткена остановимся только на состоятельности.

Теорема 2.3. При условии Эйкера (1.39) и условии оценка Эйткена состоятельна. Доказательство опирается на неравенство Используя его, получим

откуда следует, что

Использование эффективной оценки Эйткена предполагает знание матрицы Я. На практике она, как правило, неизвестна. Оценить на основе наблюдения у также невозможно хотя бы уже потому, что для этого необходимо оценить величин по имеющейся информации из наблюдений.

Рассмотрим, какие свойства будет иметь обычная оценка МНК, если все-таки

Теорема 2.4. Если все предположения (за исключением ) верны, то оценка МНК является:

а) несмещенной,

б) состоятельной, если Доказательство. а)

б) Прежде всего найдем матрицу ковариаций оценки МНК в условиях предположения Имеем

Применяя неравенство получим

Условие состоятельности довольно естественно: необходимо, чтобы дополнительная информация, даваемая наблюдениями при не убывала до нуля.

В литературе предлагаются достаточные условия состоятельности оценки МНК в случае, когда отклонения

регрессии являются стационарными, т. е. когда матрица имеет вид [3]:

Эти условия похожи на условия теоремы 1.6.

Рассмотрим частный случай использования взвешенного МНК, на котором отчетливо видна суть взвешивания. Допустим, в предположении матрица является диагональной и Другими словами, мы по-прежнему, как и в классическом предположении считаем отклонения (дисперсии которых известны статистику с точностью до постоянного множителя) некоррелируемыми, однако имеющими разную дисперсию. Такие отклонения называют гетероскедастичными. Взвешенный МНК приводит к минимизации (2.4) или

Для нахождения оценки параметров можно было бы воспользоваться формулой (2.5). Однако, как видно из (2.12), оценка Эйткена (2.5) совпадает с оценкой МНК взвешенной регрессии

или

Легко видеть, что все предположения для взвешенной регрессии (2.13) выполнены, причем Можно показать, что доверительные интервалы для уравнения (2.1) равны соответствующим величинам из взвешенной регрессии (2.13).

Вернемся к регрессии-примеру (1.5). Относительно отклонения примем следующую гипотезу: отклонения не коррелируют друг с другом, но имеют разные дисперсии. Будем считать, что стандартное отклонение пропорционально (приближенно) самому значению Это имеет основание, например, если принимается, что содержит

только ошибки измерения. Тогда мы считаем, что относительная ошибка измерения постоянна. Поскольку растет одновременно с номером эксперимента, можно положить где Примем эту гипотезу. Для того чтобы найти оценки МНК, рассмотрим регрессию

Оценим ее методом наименьших квадратов:

Все параметры, за исключением оказываются незначимыми.

Иногда гетероскедастичность отклонений связывают с одним или несколькими независимыми переменными. Например, Дж. Джонстон [26] в парной регрессии предлагает выбирать Парк [170] обобщает зависимость от и предлагает считать где неизвестный параметр, который находится следующим образом. Сначала находим обычную оценку строим отклонения Дальше рассуждаем следующим образом: может служить оценкой поэтому можно приближенно записать или Рассматривая это равенство как регрессию на можно найти оценку МНК для Затем применяем взвешенный МНК к исходной регрессии с весом [111] предлагается схема, в которой есть функция некоторого полинома от Очевидно, эти приемы можно перенести и на случай множественной регрессии.

И все же описанные спецификации гетероскедастичности нам кажутся искусственными и малоправдоподобными. Почему дисперсия отклонений зависит от По нашему предположению детерминирован. Если же содержит ошибки измерения, то оценка МНК вообще неприемлема (это показано в гл. 4). Почему дисперсия отклонений пропорциональна степени независимой переменной? Чем это аргументируется? Нам кажется, что при спецификации гетероскедастичности необходимо отталкиваться от зависимой переменной а не от независимых

поскольку в наших предположениях только может содержать ошибки измерения.

Предположим, пропорционально т. е.

Гипотеза (2.14) весьма естественна, например, когда отклонения трактуются как ошибки измерения зависимой переменной. Тогда (2.14) утверждает, что относительная ошибка постоянна, т. е. отношение Гипотеза (2.14), очевидно, противоречит независимости О от а. Для нахождения оценок а можно воспользоваться различными методами. Большинство из них приводят к нелинейному оцениванию (см. часть III книги). Однако можно предложить следующую двухшаговую процедуру, которая использует только МНК:

1) оцениваем обычным МНК исходную регрессию;

2) находим аххп Далее полагаем и применяем взвешенный МНК.

В [180] предложена более общая схема, в которой стандартная ошибка отклонений регрессии есть линейная комбинация независимых переменных. Другими словами,

где неизвестные коэффициенты, подлежащие оцениванию. Схема (2.15) является более общей, чем схема (2.12): если в последней мы считаем, что зависит от т. е. является линейной комбинацией с коэффициентами регрессии, то в (2.15) эти коэффициенты могут быть любыми. Схема (2.15) применима, если предполагается, что гетероскедастичность зависит от переменных регрессионной модели но вид зависимости неизвестен. Для оценивания регрессии в предположении (2.15) можно применить ММП. Предположим, отклонения нормальны, т. е. Тогда можно найти функцию плотности распределения выборки которая зависит от неизвестных параметров Максимизируя эту плотность, найдем оценки ММП для

В литературе предлагаются некоторые методы выявления гетероскедастичных наблюдений и борьбы с ними [75, 76]. Иногда для выявления гетероскедастичности строят график квадратов отклонений

В некоторых случаях оценка МНК совпадает с оценкой Эйткена, даже если

Теорема 2.5. Оценка Эйткена (2.5) и оценка МНК совпадают тогда и только тогда, когда существуют такие невырожденная матрица и матрица причем вектор-столбцы последней линейно независимы и являются характеристическими векторами матрицы Я, что

Доказательство этой теоремы дано в [6].

Выражение (2.16) можно трактовать так: независимые переменные суть линейная комбинация некоторых характеристических векторов матрицы Рассмотрим для примера простейшую регрессию где Допустим, характеристический вектор, соответствующий максимальному характеристическому числу равен минимальному — Оценки МНК и Эйткена совпадают, если лежит либо на либо на В противном случае оценка Эйткена эффективнее.

С помощью теоремы 2.5 можно находить условия на матрицу независимых переменных X, для которой оценка МНК и оценка Эйткена совпадают.

Пример. Рассмотрим модель регрессии (2.1). Отклонения регрессии считаем гетероскедастачными и независимыми. Другими словами, диагональная матрица:

Значения о отличны друг от друга: если Спрашивается, когда оценка МНК и оценка Эйткена будут совпадать? С помощью теоремы 2.5 ответ найти нетрудно: строк матрицы X должны быть нулевыми. Докажем это утверждение. Прежде всего отметим, что характеристическими векторами матрицы (2.17) являются где а единица расположена на месте. Вектору соответствует характеристическое число Пусть вектор-столбцы матрицы составлены из матрица полного ранга. Оценка МНК и

оценка Эйткена совпадают тогда и только тогда, когда матрица X может быть представлена в виде произведения:

Число нулевых строк матрицы V равно Столько же нулевых строк будет иметь матрица

В частности, при оценка МНК и оценка Эйткена совпадают, только если ряд содержит лишь одно ненулевое значение. В задачах 7 и 8 упражнения 2.1 исследуются другие возможности совпадения двух оценок.

Нетрудно догадаться, что чем больше матрица ковариаций отклонений регрессии имеет кратных корней, тем вероятнее оценки МНК и Эйткена будут совпадать. Однако совпадение двух оценок — факт весьма редкий на практике.

Упражнения 2.1

(см. скан)