12.2. Авторегрессия первого порядка

12.2.1. Нормально распределенные «возмущения».

Рассмотрим простейший вариант модели (12.2):

Предположим вначале, что случайные величины («возмущения») распределены по нормальному закону и при t. Пусть также задано начальное условие

Соотношение (12.5) удобно представить в виде

где , а матрица L имеет размерность и представляется в виде

Из (12.6) следует, что вектор X имеет нормальное распределение со средним , удовлетворяющим уравнению

где Нетрудно видеть, что . Ковариационная матрица вектора X равна:

Заметим, что . Из (12.8) и (12.9) следует, что распределение вектора наблюдений X описывается плотностью

Как обычно, для получения оценок максимального правдоподобия необходимо максимизировать функцию по и . Нетрудно видеть, что решениями этой экстремальной задачи являются

(12.10)

где

(12.11)

Таким образом, с вычислительной точки зрения мы имеем дело с простейшей линейной задачей метода наименьших квадратов. Изучение же статистических свойств оценок (12.10) и (12.11) оказывается заметно сложнее, чем для классической линейной регрессии.

12.2.2. Асимптотические свойства оценок.

Изучение пределього поведения (при ) оценки опирается на анализ поведения последовательностей и так как

Оказывается, что при любом оценка является состоятельной (т. е. сходится по вероятности к ).

Предельное распределение оценки оказывается различным при .

Если , то говорят об устойчивом случае. При этом

В устойчивом случае случайная величина имеет в пределе нормальное распределение с нулевым средним и дисерсией . Обратим внимание, что при величина сходится по вероятности .

Если , то мы имеем дело с неустойчивым («взрывным») случаем. При этом .

В неустойчивом случае случайная величина имеет в пределе распределение Коши [14, п. 6.1.10] с параметрами .

Наиболее сложным оказывается промежуточный случай, когда Доказано, что при случайная величина имеет в пределе распределение с плотностью:

где

12.2.3. Произвольное распределение «возмущений».

Оценка (12.10) формально совпадает с мнк-оценкой. Так же как и в случае регрессионных задач, кажется естественным использовать ее и при распределениях «возмущений» не совпадающих с нормальным, а лишь удовлетворяющих условиям (12.2), дополненным требованием их одинаковой распределенности и независимости. Оказывается [21, 1551, что в этом случае оценка (12.10) является состоятельной при любых , причем:

1) при случайная величина асимптотически нормально распределена с нулевым средним и дисперсией ;

2) при случайная величина имеет некоторое предельное распределение, характеристики которого зависят от закона распределения «возмущений»;

3) аналогичное утверждение имеет место и для , но для случайной величины . Во всех рассмотренных выше случаях асимптотическая «точность» (точнее, предельное распределение выписанных выражений) не зависит от дисперсии «возмущений».

Подводя итог результатам, изложенным в данном и предыдущем пунктах, можно сказать, что при скорость сходимости порядка ; при — порядка и при — порядка Таким образом, устойчивая авторегрессия первого порядка с точки зрения оценивания является «наихудшей».

Для всех рассмотренных выше случаев (как в п. 12.2.2, так и в п. 12.2.3) оценка (12.11) является состоятельной, причем при достаточно больших предельное распределение случайной величины близко к -распределению с степенями свободы.