7.1.4. Безусловное правдоподобие; сумма квадратов; оценки наименьших квадратов

В приложении П7.4 показано, что для  наблюдений, генерированных предполагаемой моделью АРПСС, безусловная логарифмическая функция правдоподобия имеет вид

,                                         (7.1.5)

где  — функция  и . Безусловная, сумма квадратов выражается как

,                                                       (7.1.6)

где  обозначает условное математическое ожидание  при фиксированных ,  и . В дальнейшем, когда из контекста будет ясно, о чем идет речь, мы будем сокращенно обозначать это условное ожидание .

Обычно  значимо только при малых . Для средних и больших  в (7.1.5) доминирует , и поэтому изолинии безусловной суммы квадратов в пространстве параметров  практически совпадают с изолиниями функции правдоподобия и логарифмической функции правдоподобия. Отсюда, в частности, следует, что оценки параметров, полученные минимизацией суммы квадратов (7.1.6), которые мы называем оценками наименьших квадратов, будут, как правило, очень близкими к оценкам максимального правдоподобия. При байесовском подходе в предположениях, рассмотренных в разд. 7.4, для всех процессов  и  апостериорная плотность распределения по существу есть функция только . Отсюда оценки наименьших квадратов очень близки к оценкам, дающим максимум апостериорной плотности. Далее в этом разделе и в разд. 7.1.5 мы главным образом будем заниматься расчетом, анализом и использованием безусловной суммы квадратов , определенной в (7.1.6), и вычислением оценок наименьших квадратов.

При вычислении безусловной суммы квадратов  будем находить по рекуррентной формуле, полученной из (7.1.1) взятием условных математических ожиданий от обеих частей. Предварительный расчет в обратном направлении дает значения . (т. е. прогнозы назад), необходимые для начала рекуррентных вычислений в прямом направлении.

Вычисление безусловной суммы квадратов для процесса скользящего среднего. В качестве иллюстрации рассмотрим пример биржевых цен акций IBM, используя опять 10 первых значений ряда, приведенного в табл. 7.1. Для  в разд. 6.4.3 было показано, что подгоняемая модель порядка  может быть записана в прямой или в возвратной форме:

,

где  опять предполагается равным нулю. Отсюда можно записать

,                                                                        (7.1.7)

,                                                                      (7.1.8)

где  для  и является прогнозом  назад для . Эти два уравнения мы и используем в расчетах. Удобная схема вычислений показана в табл. 7.3.

Мы начинаем с внесения в таблицу известных величин. К ним относятся

а) значения данных , по которым мы можем вычислить первые разности ;

б) значения , равные нулю, так как распределены независимо от ;

в) значения , равные нулю, потому что для любого процесса , распределены независимо от . Однако следует помнить, что в общем случае  не равны нулю и должны быть получены прогнозированием назад. В этом примере таким путем получено .

Таблица 7.3. Вычисление  по первым десяти значениям ряда  при

Начиная с конца ряда, используем (7.1.7) для вычисления  при . Этот возвратный процесс начинается при помощи той же аппроксимации, что описана ранее при вычислении условной суммы квадратов. В данном случае это приводит к тому, что . В общем эффект этой аппроксимации состоит во внесении в систему переходного процесса. В силу стационарности операторов  и  этот процесс для ряда умеренной длины будет почти всегда пренебрежимо мал к моменту начала ряда и поэтому не повлияет на расчет . Как мы увидим далее, если необходимо, можно проконтролировать эффект этой аппроксимации в любом конкретном случае, проведя второй итеративный цикл.

Далее, чтобы начать рекуррентное заполнение табл. 7.3, в строку, соответствующую , мы вносим нуль (показан курсивом) в столбец 6 вместо неизвестной величины . Затем, пользуясь (7.1.7), получаем

и проставляем  в строке . Это позволяет нам вычислить  и т. д. В завершение получаем

,

т. е.

,

что дает  и, следовательно, .

Пользуясь (7.1.8) при , получаем

.

и можем продолжить вычисление вперед остающихся . Сравнение значений  в табл. 7.1 и 7.3 показывает, что в этом частном примере переходный процесс, введенный изменением начальной величины, не сказывается при . Вычисляя таким образом члены всего ряда, находим безусловную сумму квадратов

,

что для данного примера очень близко к значению условной суммы .

Безусловные суммы квадратов  для значений  между  и  приведены в нижней строке табл. 7.2 и для этого частного примера очень близки к значениям условных сумм .