1.2. Авторегрессионные модели случайных последовательностей

Рассмотрим сначала одномерное И, т. е. случайный процесс X с дискретным временем, который можно считать случайной функцией  или последовательностью случайных величин (СВ) . Здесь номер отсчета i=0, 1, 2, … часто может интерпретироваться как дискретное время. Параметр ξ в соответствии с некоторым вероятностным законом принимает в каждом проводимом опыте конкретное значение ξ0, от которого зависит вид функции , называемой реализацией процесса в данном опыте.

Пусть, например, , где  – система двух СВ. Тогда реализациями процесса будут синусоиды со случайной амплитудой и частотой. На практике часто приходится иметь дело с процессами, реализации которых имеют более сложный вид, поэтому и функция  должна иметь достаточно сложную структуру и в то же время допускать эффективное решение задач анализа, синтеза и имитации. Удачными в этом отношении являются авторегрессионные модели, в которых используются рекурсивные функции.

Рассмотрим простейшую авторегрессионную модель случайного процесса  X = {x0, x1, x2,…}. Пусть последовательность СВ, составляющих данный процесс, удовлетворяет стохастическому уравнению

                                (1.1)

с начальным условием , где  и  – некоторые функции;  – заданная последовательность независимых СВ, называемая порождающей или возмущающей последовательностью.

Характерной особенностью модели (1.1) является ее каузальность, т.е. возможность вычисления значения  как функции предыдущего значения  и случайного числа . Свойство каузальности позволяет не только эффективно решать задачи имитации, но и дает возможность построения мощных рекуррентных алгоритмов оценивания типа фильтра Калмана, как это показано в следующих разделах.

Заметим, что условная ПРВ величин  , описываемых уравнением (1.1), при известном значении  не зависит от . Таким образом, данная последовательность является марковской: ее «будущее»  в указанном смысле условно независимо от «прошлого»   при известном «настоящем» . Если сменить направление дискретного времени на обратное, то полученная последовательность   также будет марковской. Поэтому марковское свойство может быть сформулировано в симметричной форме: последовательность является марковской, если ПРВ величин, составляющих  и ,  условно независимы при известном .

В качестве возмущающей последовательности чаще всего используется последовательность стандартных независимых гауссовских СВ. В случае линейности функции φ процесс X также будет гауссовским, а при соответствующем выборе нелинейных функций и негауссовских возмущений можно получить широкий класс негауссовских процессов. В целях дальнейшего расширения класса представимых случайных процессов с помощью авторегрессионных моделей можно в (1.1) взять уравнение  , что дает возможность получать неоднородные марковские процессы. Стохастическое уравнение  при соответствующих начальных условиях порождает марковский процесс m-го порядка,

у которого прошлое  и будущее  условно независимы при известном настоящем , состоящем из m последовательных значений процесса.

Задача анализа авторегрессионной модели состоит в нахождении закон распределения СВ  xi. Она особых затруднений не вызывает, так как все  xi  являются известными функциями СВ . Более сложна задача синтеза, состоящая в нахождении функций  авторегрессионной модели, порождающей процесс с заданными ПРВ.

 Рассмотрим в качестве примера простейшую линейную авторегрессионную модель

,                  (1.2)

где   – одинаково распределенные независимые стандартные СВ. Эта модель порождает стационарную марковскую последовательность xi с нулевым средним, дисперсией  и ковариационной функцией (КФ) . Параметр  равен коэффициенту корреляции между соседними элементами порождаемого процесса, а  равно среднеквадратическому отклонению (СКО) процесса.

На рис. 1.2 представлены типичные графики реализаций такого процесса при различных значениях параметра , входящего в модель (1.2). Во всех случаях параметр , влияющий только на масштаб по оси ординат, выбран равным единице. Из этих рисунков видно, что при , близких к единице, процесс становится более гладким; при малых  , напротив, значения процесса слабо зависимы между собой; при отрицательных  корреляция между соседними значениями процесса отрицательна, поэтому он часто меняет знак.

Рис. 1.2.

При гауссовской возмущающей последовательности ξi порождаемый процесс X в силу линейности модели будет гауссовским. В случае негауссовских возмущений X не будет гауссовским, но при |ρ|, близких к единице, нормализуется. Это следует из центральной предельной теоремы и представления модели (1.2) в виде взвешенных сумм возмущений:

Более сложные авторегрессионные модели

                            (1.3)

с соответствующими начальными условиями на ПРВ значений первых m членов  определяют марковские последовательности m-го порядка.

Найдем КФ  порождаемой последовательности. Умножая (1.3) на  x0  и находя математические ожидания, получим рекуррентное соотношение для КФ:

                 (1.4)

которое вместе со значениями  Vx(0,i), i<m, определяемыми из начальных условий, дает возможность последовательно вычислять значения этой функции. Общее решение уравнения (1.4) имеет вид

                                              (1.5)

где bu,j – константы; zu – корни характеристического уравнения

                                      (1.6)

qu – кратность корня zu. Каждому простому действительному корню zu = αu характеристического уравнения (1.6) в (1.5) соответствует компонента ; простой паре комплексных корней zu = αu±ibu – две компоненты  cos(βuk) и sin(βuk); если zu имеет кратность qu>1, то добавляются произведения указанных компонент на . Полагая в  (1.5)   и используя начальные условия, получим  m линейных уравнений для определения  m  констант bu,j.

Аналогичным образом определяется КФ Vx(i,i+k) при i>0, также имеющая вид (1.5) с константами, вообще говоря,  зависящими от i.

Если все корни уравнения (1.6) по модулю меньше единицы, то Vx(i,i+k)→0  при  k→∞, следовательно,  xi  и  xi+k  становятся независимыми, когда время  k  между ними стремится к бесконечности. Последовательность в этом случае приближается к стационарной: Vx(i,i±k)→ Vx(k) при i→∞. Для нахождения этих предельных значений КФ умножим (1.3) на xi+k и перейдем к пределу математических ожиданий при i→∞:

Vx(│k│) = ,                          (1.7)

где δ(k) – символ Кронекера. Полагая в (1.7)  k = 0,1,2,…,m,  получим  m+1 линейных уравнений, из которых находятся m+1 начальных значений Vx(0), Vx(1), …, Vx(m), которые можно использовать для нахождения Vx(k) в форме (1.5), где в правой части вместо k нужно взять |k|.

Для того чтобы последовательность xi была стационарной с самого начала, необходимо и достаточно задать распределения начальных членов  так, чтобы их  КФ удовлетворяла уравнению (1.7).