Приложение П7.5. Точная функция правдоподобия для процесса авторегрессии

Положим, что данный ряд  генерируется стационарной моделью авторегрессии -го порядка

,

причем временно предполагается, что  имеют среднее значение , но, как и прежде, допускается обобщение на случай . Предполагая, что , а следовательно, и  подчиняются нормальному закону, получаем функцию совместной плотности вероятности:

;                     (П7.5.1)

из-за обратимости общего процесса матрица  размером  симметрична относительно обеих главных диагоналей. Можно сказать, что такая матрица дважды симметрична. Имеем

,

где . Первый множитель в правой части можно получить, используя распределение

.                              (П7.5.2)

Для фиксированных  и  связаны преобразованием

с единичным якобианом. Отсюда имеем

.

Кроме того,

.

Тогда

,                                  (П7.5.3)

где

.                       (П7.5.4)

Кроме того,

,            (П7.5.5)

где  - теоретические автоковариации процесса, а .

Пусть , так что

.

Тогда

.

и элементы  можно найти, пользуясь соображением о двойной симметричности как  , так и . Так, например

,

и после приравнивания элементов двух матриц имеем

.

Продолжая действовать таким же образом, для процессов порядка 1 и 2 находим

Например, для

,

что совпадает с результатом (П7.4.15). Эта процедура должна привести к матрицам , элементы которых — квадратичные функции .

Из (П7.5.4) очевидно, что  - квадратичная форма не только от , но и от параметров . Если представить  в виде , становится очевидным, что для некоторой матрицы  размером , элементы которой - квадратичные функции, справедливо равенство

.

Запишем теперь

.                          (П7.5.6)

Рассмотрение (П7.5.4) показывает, что элементы  — симметричные суммы квадратов и произведения членов с задержками, определяемые как

,                              (П7.5.7)

где сумма  содержит  слагаемых.

Наконец, мы можем записать точное выражение для плотности вероятности и, следовательно, для функции правдоподобия:

,             (П7.5.8)

где

,                (П7.5.9)

и логарифмическая функция правдоподобия равна

.                                   (П7.5.10)

Оценки максимального правдоподобия. Дифференцируя по  и каждому из  в (П7.5.10), получаем

,                                                   (П7.5.11)

,                   (П7.5.12)

где

.

Отсюда можно получить оценки максимального правдоподобия - для этого надо приравнять все производные нулю и решить получающиеся уравнения.

Из (П7.5.11) сразу получаем

.                                     (П7.5.13)

Оценки . При решении уравнения (П7.5.12) возникают трудности, так как в общем случае величины  — сложные функции . Рассмотрим кратко три возможных приближенных способа решения.

1) Оценки наименьших квадратов.

В то время как математическое ожидание  пропорционально , значение  от  не зависит; для средних и больших выборок в (П7.5.8) доминирует член, содержащий , а член с  сравнительно мал.

Если мы пренебрежем влиянием этого члена, то

,                                 (П7.5.14)

и оценки  параметров , полученные путем максимизации (П7.5.14), совпадают с оценками наименьших квадратов, полученными минимизацией . Так, из (П7.5.9) следует, что , где  - матрица симметричных сумм квадратов и произведений размером , определенная в (П7.5.7). Дифференцируя, находим значения, дающие минимум сумм

                 (П7.5.15)

которые в очевидных матричных обозначениях можно записать как

,

так что

.

Эти оценки наименьших квадратов максимизируют апостериорную плотность вероятности (7.4.15).

2) Приближенные оценки максимального правдоподобия.

Вспомним полученный ранее результат (3.2.3), который можно записать в виде

.                                 (П7.5.16)

Беря математические ожидания от обеих частей (П7.5.12) и пользуясь тем, что , получаем

.  (П7.5.17)

Умножив (П7.5.16) на  и вычтя результат из (П7.5.17), получим

.

Далее, используя  как оценку  получаем естественную оценку :

.

Подставляя эту оценку в (П7.5.12), находим

,                 (П7.5.18)

что ведет к системе линейных уравнений в форме (П7.5.15), в которых вместо  стоит

.

3) Оценки Юла-Уокера.

Наконец, если  не мало, мы можем приближенно заменить симметричные суммы квадратов и произведений в (П7.5.15) соответствующими оценками автоковариаций, умноженными на . Например, , где , нужно заменить на . Разделив все члены полученных уравнений на , получим следующие соотношения, содержащие выборочные оценки автокорреляций :

Это хорошо известные уравнения Юла—Уокера.

В матричных обозначениях (7.3.1) их можно записать как , и отсюда

,                                 (П7.5.19)

что соответствует уравнению (3.2.7), в котором  заменено на , а  на .

Чтобы продемонстрировать различия трех оценок, рассмотрим случай . Тогда , и в соответствии с (П7.5.12) точная оценка максимального правдоподобия для  будет решением уравнения

.

Приближение (1) полностью игнорирует слагаемое  что дает

.

Приближение (2) соответствует подстановке вместо  его выборочной оценки , что приводит к

.

Приближение (3) заменяет числитель и знаменатель этой дроби стандартными выборочными оценками автоковариаций (2.1.10), что дает

.

Обычно, как и в этом примере, для не слишком малых выборок различия между оценками, получаемыми путем разных приближений, малы. Как правило, мы пользуемся оценками наименьших квадратов из приближения (1). Эти оценки можно, конечно, вычислить и прямо по (П7.5.15). Однако, предполагая возможность расчетов на ЭВМ, вряд ли стоит рассматривать отдельно процессы авторегрессии; мы нашли, что более просто, даже в случае подгонки процессов авторегрессии, пользоваться общим итеративным алгоритмом, описанным в разд. 7.2.1, позволяющим находить оценки наименьших квадратов для любого процесса АРСС.

Оценки . Пользуясь приближением (3), а также (П7.5.9) и (П7.5.13), находим

.

Выполнив умножение в правой части и учтя, что , найдем

.                             (П7.5.20а)

Легко показать, что  можно аналогичным образом выразить через теоретические корреляции

,                         (П7.5.20б)

что согласуется с результатом (3.2.8). Сходные выражения для  можно получить при помощи приближений (1) и (2).

Информационная матрица. Дифференцируя (П7.5.11) и (П7.5.18) второй раз, получим

,                                              (П7.5.21а)

,                                               (П7.5.21б)

.                                         (П7.5.21в)

Далее, так как

,

отсюда следует, что для средних и больших выборок

и

,

где

.

Далее, пользуясь (П7.5.21в), получим

.                  (П7.5.22)

Отсюда

.

Дисперсии и ковариации выборочных оценок параметров авторегрессии. При условиях, подробно рассмотренных в [87], матрица, обратная информационной, является асимптотической матрицей ковариации оценок максимального правдоподобия (МП). Более того, если логарифмическая функция правдоподобия приближенно квадратична и ее максимум не близок к границе, даже для выборки средних размеров элементы этой матрицы хорошо аппроксимируют дисперсии и ковариации оценок. Пользуясь (П7.5.22) и (П7.5.20б), находим

                 (П7.5.23)

В частности, для процессов авторегрессии первого и второго порядков

                          (П7.5.24)

Оценки дисперсий и ковариаций можно получить, заменив в (П7.5.24) параметры их выборочными оценками. Например, подставив  вместо  и  вместо  в (П7.5.23), получим

.                                                         (П7.5.25)

Распространение результатов для авторегрессий на более общие процессы. Имеется интересное соотношение, позволяющее нам распространить результаты оценивания для моделей авторегрессии на более общие модели. Пусть наблюдения генерируются моделью АРСС

,                                                                 (П7.5.26)

где . Модель можно представить в виде

.                                          (П7.5.27)

Пусть  - значения параметров скользящего среднего, несколько отличающиеся от , и положим, что делается преобразование

.                                                           (П7.5.28)

Заменив неизвестные предварительные значения нулями, мы можем использовать это выражение для генерирования соответствующего ряда  для каждого временного ряда  из  наблюдений, порождаемого моделью (П7.5.27). Обозначим это преобразование через , так что , и так как  - треугольная матрица с диагональными элементами, равными . Примем . Тогда функция правдоподобия для параметров , т. е. для параметров , будет

.

Такой выбор параметров показывает, что  генерируются моделью АРСС

,

и, следовательно,  генерируются моделью

,

или с хорошей степенью приближения при малых  моделью

.

Соответствующая функция правдоподобия имеет вид

.

Для средних и больших выборок приближения на концах ряда не будут оказывать существенного влияния; функция правдоподобия мала для больших , так что существенны только малые отклонения. Отсюда следует, что

.                    (П7.5.29)

Немедленно получаем следующие результаты.

1)      Положим, что информационная матрица для параметров , связанная с моделью АРСС

,

есть . Положим, что информационная матрица для параметров  чистой модели

равна

,

где матрица разбита на части после  строки и столбца. Тогда для средних и больших выборок

.       (П7.5.30)

2) На рассмотренном уровне приближения отсюда следует, что определители информационных матриц для процессов АРСС  и  идентичны.

3) Так как для средних и больших выборок матрица, обратная информационной, является хорошим приближением к ковариационной матрице параметров , получаем

.                               (П7.5.31)

4) Запишем теперь

.

Тогда, пользуясь (П7.5.22), находим

.                                 (П7.5.32)

Кроме того,

,                               (П7.5.33)

где

                                 (П7.5.34)

— якобиан преобразования.

Процессы скользящего среднего; дисперсии и ковариаций оценок МП. Легко показать, что для больших выборок ковариационная матрица оценок МП чистого процесса скользящего среднего точно такая же, как для чистого процесса авторегрессии того же порядка. Тогда, согласно (П7.5.24), для процессов скользящего среднего первого и второго порядков имеем

.

Смешанные процессы авторегрессии — скользящего среднего; дисперсии и ковариаций оценок МП. Для того чтобы проиллюстрировать, как используется (П7.5.31), рассмотрим процесс АРСС

,

который мы сопоставим с процессом

.                               (П7.5.35)

Матрица ковариаций для  и  в модели авторегрессии (П7.5.35), согласно (7.2.22), имеет вид

.

Отсюда соответствующие дисперсии и ковариации для процесса АРСС  равны

.