7.4.3. Процессы авторегрессии
Если 
есть процесс 
, то 
будет чистым
процессом авторегрессии порядка 
. В приложении П7.5 показано, что для
такого процесса множители 
и 
, которые во всех случаях являются
существенно менее важными, чем множитель 
, практически взаимно сокращаются. Это
приводит к очень простому результату, что при данных предположениях параметры 
процесса 
для 
имеют апостериорное
распределение
. (7.4.7)
В
этом случае рельеф суммы квадратов, приближенно совпадающий с рельефом функции
правдоподобия при отсутствии априорной информации, совпадает также с рельефом
апостериорной вероятности.
Совместное
распределение параметров авторегрессии. В приложении П7.5 показано, что для
чистого процесса 
оценки
наименьших квадратов для , минимизирующие 
, имеют вид
, (7.4.8)
где
,
(7.4.9)
и
. (7.4.10)
Отсюда следует, что
, (7.4.11)
где
, (7.4.12)
и
. (7.4.13)
Тогда мы можем
записать
. (7.4.14)
Это можно записать и иначе:
, (7.4.15)
где
.
Отсюда следует,
что параметры процесса авторегрессии имеют многомерное 
-распределение (П7.1.13) с 
степенями свободы.
На практике для
частного случая 
распределение
точно совпадает
с -распределением
Стьюдента с 
степенями
свободы, причем из общих результатов, полученных выше, следует, что
. (7.4.16)
Величина 
при больших выборках стремится к 
и в рамках
выборочной теории идентична со стандартной ошибкой для 
при больших выборках.
Однако, используя это и подобные выражения в рамках байесовского подхода,
следует помнить, что случайными переменными являются именно параметры (в этом
случае ).
Такие величины, как и , являющиеся функциями уже полученных
данных, рассматриваются как фиксированные.
Приближение
нормальным законом.
Для
выборок размером 
,
которыми мы обычно интересуемся, -распределение может с достаточной
точностью аппроксимироваться нормальным распределением. Это означает, что
распределение очень
близко к -мерному
совместному нормальному распределению 
со средним значением и матрицей
ковариаций 
.
Байесовские
области наивысшей плотности вероятности. Суммируя то, что можно узнать о
вероятности различных значений по апостериорному распределению,
полезно указать область наивысшей плотности вероятности, кратко называемую
областью НПВ [104]. Байесовская 
-я область НПВ имеет следующие
свойства:
1) любое
значение параметра внутри этой области имеет более высокое значение
вероятности, чем вне этой области;
2) апостериорная
вероятность этой области равна 
.
Так как имеет многомерное -распределение, из
(П7.1.4) следует, что
(7.4.17)
определяет точную -ю область НПВ для . Для 
.
Кроме того,
.
Отсюда приближенно область НПВ,
определенная (7.4.17), имеет вид
(7.4.18)
и, если положить 
, идентична с доверительной
областью, определенной (7.1.26).
Хотя эти
приближенные области и идентичны, нужно помнить, что их интерпретация различна.
С точки зрения выборочной теории говорят, что если доверительная область
вычислена согласно (7.1.26), то для каждой серии повторных выборок -я часть этих
областей будет включать точку с истинным значением параметра. С байесовской
точки зрения рассматривается результат единственной фактически наблюдавшейся
выборки 
.
В предположении, что априорное распределение вероятности локально равномерно,
область НПВ включает -ю часть результирующего вероятностного
распределения при
данном ,
обладающую наивысшей плотностью. Другими словами, вероятность того, что
значение ,
вызывавшее данные ,
лежит внутри НПВ, равна .
Пользуясь
(7.4.11), (7.4.12) и (7.4.18) для больших выборок, находим, что приближенная
байесовская область НПВ ограничена изолинией, для которой
, (7.4.19)
т. е. точно соответствует доверительной
области, определенной (7.1.28).
