Приложение П7.4. Точная функция правдоподобия для процесса скользящего среднего

Чтобы получить функцию правдоподобия в этом случае, необходимо найти выражение для функции плотности вероятности ряда  в предположении, что он генерируется стационарной моделью скользящего среднего порядка

,                                                (П7.4.1)

где . В предположении, что  и, следовательно,  распределены нормально, совместную плотность вероятности можно записать в виде

,                  (П7.4.2)

где  - ковариационная  матрица  размером .

Во многих приложениях, где , разумно предполагать, что  и, следовательно, . Когда это не предполагается и, следовательно,  не известно,  можно рассматривать просто как дополнительный оцениваемый параметр, входящий в вектор . Рассмотрим теперь удобный способ вычисления  и для простоты положим, что  и, следовательно, .

Пользуясь моделью (П7.4.1), можно написать  уравнений

После подстановки выражения для  в выражение для , выражений для  и  — в  и т. д. мы можем записать -мерный вектор  через -мерный вектор  и через -мерный вектор предварительных значений . Имеем

,

где  — матрица размером  и  — матрица размером , элементы которой — функции элементов , временно считающихся зафиксированными.

Совместное распределение  величин, являющихся элементами , равно

.

Замечая, что наше преобразование имеет единичный якобиан, находим совместное распределение  и :

,

где

.                                   (П7.4.3)

Пусть  — вектор значений, минимизирующих . Тогда, пользуясь (П7.2.6), получаем

,

где

                            (П7.4.4)

- функция только наблюдений , но не предварительных значений . Итак,

.

Однако, так как

,

то отсюда следует, что

,                (П7.4.5)

.                                  (П7.4.6)

Мы приходим к следующим выводам.

1) Из (П7.4.5) видно, что  — это условное ожидание  при данных  и . Пользуясь обозначениями, введенными в разд. 7.1.4, получаем

,

откуда , и, пользуясь (П7.4 4), находим

.                               (П7.4.7)

Хотя  можно получить непосредственно методом наименьших квадратов, на практике их легче вычислять, используя тот факт, что , и получая  по методике «прогнозирования назад», описанной в разд. 7.1.4 и 7.1.5.

2) Сравнивая (П7.4.6) и (П7.4.2), получаем

и

.

3) Чтобы вычислить

,

можно получить величины , пользуясь оценками  для предварительных значений, найденных прогнозированием назад, и вычислив элементы  рекуррентным путем по формулам

,

где .

4) Наконец, пользуясь (П7.4.6) и (П7.4.7), получаем точное выражение для безусловной функции правдоподобия

.              (П7.4.8)

Так, если , легко показать, что  состоит из -мерного вектора-столбца с элементами . Тогда . Для  членом  обычно можно пренебречь, и мы получаем достаточно точный результат:

.               (П7.4.9)

Обобщение на процессы авторегрессии и смешанные процессы. Описанный выше метод получения безусловной функции правдоподобия легко обобщить на общую смешанную модель

,                                                      (П7.4.10)

которая при  определяет общий процесс АРПСС. Заметим сначала, что эта модель может быть записана при помощи бесконечного оператора скользящего среднего

.                                     (П7.4.11)

Для процессов, представляющих интерес во многих задачах, веса  быстро уменьшаются, так что (П7.4.11) с любой желаемой степенью точности можно аппроксимировать конечным процессом скользящего среднего некоторого порядка :

.

Подходящее значение  можно выбрать, исходя из факта, что для конечного скользящего среднего порядка  наблюдения через  интервал некоррелированы, и, следовательно, прогнозы  для упреждений, больших чем , будут равны нулю. В процессе вычислений, описанных в разд. 7.1.5, находятся прогнозы для времен , и  выбирается как точка, за которой прогнозируемые значения  становятся практически нулями. Поэтому не возникает необходимости в вычислении , так как рекуррентный расчет осуществляется прямо по выражению для общей модели (П7.4.10). Пример расчета дан в разд. 7.1.5.

Следовательно, в общем случае функция правдоподобия для ряда  из  значений, генерируемого любым процессом АРПСС, имеет вид

,                (П7.4.12)

где

                                        (П7.4.13)

и значения  практически можно вычислить рекуррентным способом с суммированием, начинающимся от некоторой точки , за которой  пренебрежимо малы.

В качестве примера рассмотрим процесс авторегрессии первого порядка для :

,                                                           (П7.4.14)

где  может быть -й разностью  истинных наблюдений, и мы располагаем рядом  из  наблюдений. Для того чтобы вычислить функцию правдоподобия (П7.4.12), нам нужно знать

.

Искомые условные ожидания (прогнозы назад) равны

,

поэтому

.

Отсюда

                                    (П7.4.15)

— результат, который может быть получен и более явными способами, рассмотренными в приложении П7.5.