5.4. ОЦЕНИВАНИЕ ПАРАМЕТРОВ ЛИНЕЙНОГО ПРОЦЕССА

В этом разделе мы применим методы гл. 4 к оцениванию параметров процессов авторегрессии и скользящего среднего, введенных в разд. 5.2. Предположим, например, что требуется подобрать авторегрессионную модель

к наблюденному временному ряду Процедура подгонки состоит в следующем:

1) вынесение решения о порядке процесса;

2) для заданного оценивание параметров

Поскольку решение о том, каков порядок процесса, можно вынести, лишь подгоняя процессы различных порядков, сначала необходимо рассмотреть оценивание параметров.

5.4.1. Оценивание параметров авторегрессии методом максимального правдоподобия

Приближенная функция правдоподобия. Предполагая, что процесс является нормальным, можно получить логарифмическую функцию правдоподобия для фиксированного следующим образом. Во-первых, заметим, что совместную плотность вероятности случайных величин можно записать в виде

где Если перейти от переменных согласно формуле (5.4.1), то, учитывая, что якобиан преобразования равен единице, получим

Обозначения в левой части равенства (5.4.2) подчеркивают, что оно изображает условную совместную плотность случайных величин при условии, что величины фиксированы и равны своим выборочным значениям. Чтобы получить полную плотность вероятности, нужно было бы умножить (5.4.2) на совместную плотность величин . Так как обычно мало, результат такой «концевой поправки» будет несущественным, и, поскольку она значительно усложняет функцию правдоподобия, мы ее опустим. Если известны, то (5.4.2) рассматривается как функция и дает условную функцию правдоподобия этих параметров при фиксированных хт. Логарифмическая функция правдоподобия, таким образом, равна

При оценивании параметров важной величиной является сумма квадратов

Теперь выборочные оценки максимального правдоподобия, или наименьших квадратов, можно получить, дифференцируя (5.4.4). Рассмотрим некоторые частные случаи.

Процесс авторегрессии первого порядка. Дифференцирование суммы квадратов

приводит к нормальным уравнениям, аналогичным тем, которые получались в разд. 4.3.3. Таким образом, имеем

где — средние арифметические первых и последних наблюдений соответственно. Отсюда

Поскольку очень близки к полному среднему х, выборочную оценку можно считать приближенно равной и, следовательно, выборочную оценку равной Остаточную сумму квадратов

можно упростить, используя

Аппроксимируя (5.4.6), точно так же как это делалось выше для получаем простое выражение

Поскольку в фактически входят наблюдений и две степени свободы потеряны при подгонке констант дисперсию процесса можно оценить с помощью

Используя и те же самые приближения, что и выше, получаем 100(1-а)%-ный доверительный интервал для

Процесс авторегрессии второго порядка. Выборочные оценки максимального правдоподобия можно получить, дифференцируя (5.4.3) по и приравнивая эти производные нулю. Это приводит к уравнениям

где

и суммирование распространяется от до Если заменить полным средним значением х, то шесть функций от наблюдений, входящих в эти уравнения, можно объединить в пары и положить Например, две функции

и

имеют общих члена и отличаются только на один член в начале и в конце. С достаточной степенью точности их можно заменить на где является выборочной оценкой ковариации (5.3.25). Тогда уравнения (5.4.9) можно приближенно переписать в виде

Отсюда, вводя выборочные оценки корреляции получаем

Используя те же самые приближения, что и выше, остаточную сумму квадратов можно записать в виде

Остаточная дисперсия равна

и имеет степеней свободы, так как исходное правдоподобие (5.4.13) содержит наблюдения и еще 3 степени свободы потеряны при подгонке трех параметров

Снова используя то же приближение, что и в получаем совместную 100(1-а)%-ную доверительную область для параметров

В качестве примера рассмотрим данные о партиях продукта, приведенные на рис. 5.2. В разд. 5.4.3 будет показано, что к этим данным вполне подходит процесс авторегрессии второго порядка. Используя значения из табл. 5.2 и формулу (5.4.10), получаем выборочные оценки параметров Остаточная сумма квадратов равна 7768,5, так что Следовательно, приближенная 95%-ная доверительная область имеет вид

На рис. 5.15 показаны линии уровня точной суммы квадратов, изображенные на плоскости в области, где процесс стационарен. Заштрихованная область является -ной доверительной областью. Видно, что она лежит целиком внутри области стационарности.

Общий процесс авторегрессии. Действуя так же, как и выше, уравнения правдоподобия можно приближенно записать в виде

где . Аналогично для остаточной суммы квадратов получаем приближенное выражение

Рис. 5.15. Линии уровня суммы квадратов для процесса авторегрессии второго порядка, подобранного к данным о партиях продукта, изображенным на рис. 5.2.

Из (5.4.13) получаем приближенную выборочную оценку остаточной дисперсии

Наконец, используя (П4.1.15), можно написать приближенную доверительную область в матричных обозначениях

где и