5.8. ПРОЦЕСС АВТОРЕГРЕССИИ С ОСТАТКАМИ В ВИДЕ СКОЛЬЗЯЩЕГО СРЕДНЕГО

5.8.1. Модель

Пусть удовлетворяет соотношению

в котором последовательность независимых случайных величин Чтобы исключить тривиальные случаи, будем полагать Тогда имеем Соотношение (1) можно записать в виде

Пусть корни уравнения

равны а корни уравнения

равны Тогда (2) можно переписать следующим образом:

Соотношение между и не изменится, если обе части (5) разделить на общие множители. Поэтому без ограничения общности будем считать, что (3) и (4) не имеют общих корней.

Для того чтобы можно было выразить в виде линейной комбинации (когда необходимо, чтобы все корни уравнения (3) лежали в единичном круге. При этом

Коэффициенты здесь те же, что и в разд. 5.2.1. Коэффициенты получаются следующим образом:

Умножим обе части (1) на и возьмем от полученных выражений математические ожидания. В результате придем к системе соотношений

где есть дельта Кронекера. В частности, отсюда следует, что

Таким образом, последовательность удовлетворяет для однородному разностному уравнению. [В разд. 5.8.2. будет показано, что эти уравнения в совокупности с условием определяют если последовательность известна.]

Для некоторых целей более удобным оказывается рассматривать качестве параметров процесса не Если обозначить левую часть выражения (1) через то математическое ожидание произведения можно записать в виде

С другой стороны, используя правую часть (1), то же математическое ожидание можно записать в виде

Использование (10) и (11) приводит к следующей записи производящей функции ковариаций случайной последовательности

Здесь определяется посредством (4) из § 5.7. Используя (9), соотношение (12) можно переписать в виде

В левой части последнего соотношения присутствуют лишь параметры а в правой — лишь параметры Поэтому вторая совокупность параметров вполне определяется первой. Левая часть (13), умноженная на будет полиномом степени Корни ее будут образовывать пары, как было указано в разд. 5.7.1. Одно из образующихся при этом двух множеств корней определяет и через него значения [См. Дуб (1944).]

5.8.2. Оценивание параметров

Если случайные величины распределены нормально, то нормально распределенными будут и Как и в случае обычного скользящего среднего, изучавшегося в § 5.7, матрица, обратная ковариационной матрице конечного множества случайных величин является отнюдь не простой, минимальное достаточное множество статистик имеет мощность , а уравнения максимального правдоподобия сложны и не поддаются непосредственному решению. Тем не менее (как указывается в теореме 8.4.6) любое конечное множество

выборочных корреляций имеет асимптотически нормальное распределение. А. Уолкер (1962) обобщил на рассматриваемый случай метод оценивания, используемый для модели обычного скользящего среднего, т. е. максимизацию функции, аппроксимирующей функцию правдоподобия первых выборочных сериальных корреляций.

Если случайные величины независимы и одинаково распределены с то совместное предельное распределение статистик будет многомерным нормальным с нулевыми средними и ковариациями

По этому поводу см. теорему 8.4.6. [Если все корни (3) лежат в единичном круге, то условия теоремы 8.4.6 будут выполнены. См. (41) в § 5.2, а также (6) и Для усовершенствования процедуры оценивания, использующей данное предельное распределение, удобно использовать переменные

где Поскольку из (9) следует

то совместное распределение статистик будет нормальным с нулевыми средними и ковариациями выражения для которых можно получить из Пусть Соответственно этому разобьем матрицу и ей обратную на блоки, состоящие из строк и столбцов,

Тогда логарифм функции, аппроксимирующей функцию правдоподобия от х, будет равен

в качестве оценок мы возьмем такие значения которые будут удовлетворять дифференциальным уравнениям В этих дифференциальных уравнениях члены, включающие частные производные по имеют меньший порядок по чем другие. Если пренебречь этими членами и умножить на соответствующие константы, то в результате получим уравнения

где

Для того чтобы упростить (20), заметим, что

Поскольку статистики имеют предельные распределения, то в (20) можно для этих значений заменить на Ввиду того что в силу (16) предельными распределениями обладают статистики при то для таких значений производные можно заменить в (20) нулями. В результате получаем, что (20) асимптотически

эквивалентно

где

Докажем, что матрица невырождена. Пусть имеет место обратное. Тогда существует некоторый постоянный вектор такой, что

Из (16) вытекает, что Применение этого соотношения к (27) показывает, что (27) выполняется тогда и для .Но это означало бы, что процесс можно представить моделью (1), в которой параметры заменены параметрами а значения параметров определяются через в соответствии с (13). Но это противоречит предположению о том, то в соответствии с которым левая часть (1) определяется не постоянными.

Поскольку невырожденная матрица, то (19) и (25) можно объединить в уравнение

При этом

(См., например, упр. 8 гл. 2.) Правая часть (29) представляет регрессию векторов на использующую ковариационную матрицу предельного распределения. Тогда

состоит из (асимптотических) остатков корреляций на Остальные уравнения в (29)

говорят о том, что (асимптотические) остатки сумм на равны нулю. Поэтому их можно записать в виде

где обозначает остаток от его (асимптотической) регрессии на

Полученные уравнения являются нелинейными, поскольку зависят от неизвестных параметров. Тем не менее решения уравнений (30) и (31) можно получить методом итераций, вычисляя для некоторых начальных оценок и и уточняя затем эти оценки путем решения (30) и (31) с полученными значениями . В качестве начального приближения можно взять состоятельные оценки искомых параметров, определяемые соотношениями

Оценки, определяемые уравнениями (30) и (31), состоятельны и асимптотически нормальны. Вектор

имеет предельное нормальное распределение с нулевым средним и ковариационной матрицей Уравнения (31) в силу можно записать в виде

Совместное распределение статистик асимптотически нормально. Поэтому (33) эквивалентно уравнению

С учетом (16) правая часть (34) может быть записана в виде

и имеет поэтому в пределе нормальное распределение с нулевыми средними и ковариационной матрицей Поскольку сходится по вероятности к то (34) показывает, что предельное распределение вектора где совпадаете предельным распределением вектора

которое является нормальным, с нулевым средним и ковариационной матрицей

Совместное распределение векторов также сходится при к нормальному. Ковариация этих двух векторов в предельном распределении равна

На рассматриваемый случай можно также распространить процедуру, предложенную Дурбином для модели скользящего среднего, несколько видоизменив ее (Дурбин (1960b)). Предположим, что мы исходим из некоторого начального приближения (начальных оценок) для параметров Обозначим соответствующие оценки Положим Используем теперь метод Дурбина, описанный в разд. 5.7.2, для оценки коэффициентов в модели скользящего среднего

где рассматриваются как наблюдаемые значения. Обозначим получающиеся при этом оценки Пусть случайный процесс таков, что

Тогда случайный процесс определяемый соотношением

будет удовлетворять уравнению (1) для Если последовательность задать для а последовательность задать для то последовательность

можно продолжить, решая уравнение (41) последовательно относительно Это приводит к мысли определять для используя произвольные следующим образом:

Параметры можно оценить теперь исходя из последовательности удовлетворяющей (41). В результате получим новое приближение Дурбин предложил переходить поочередно от одной процедуры к другой таким образом, что после вычисляется затем Можно ожидать, что при больших значениях итерационный процесс будет сходиться.