2.11. Моделирование марковских случайных процессов

Важное теоретическое и практическое значение имеют марковские случайные процессы [7, 18].

С точки зрения моделирования на ЦВМ марковские случайные процессы — это одни из наиболее простых процессов. Действительно, марковским называется случайный процесс  у которого условная плотность вероятностей  значений  в произвольный момент времени  удовлетворяет соотношению

,               (2.135)

т. е. зависит лишь от значения процесса в один из предшествующих моментов времени [78]. Время  может быть как непрерывным, так и дискретным. Условная плотность вероятностей (2.135) называется плотностью вероятностей перехода из состояния  в момент времени  в состояние  в момент времени . В общем случае — это функция четырех переменных.

Для моделирования марковского случайного процесса достаточно знать условную плотность вероятностей перехода (2.135) и плотность вероятностей  начального значения  в момент времени  при этом получение дискретных реализаций процесса сводится, очевидно, к следующему. Формируется реализация  случайной величины  с функцией плотности , затем формируется реализация  случайной величины  с функцией плотности  и т. д. В результате получается последовательность чисел

изображающая дискретную реализацию  марковского случайного процесса  с заданной условной плотностью вероятностей перехода . Для получения следующей реализации процесса повторяется та же операция; в результате получается последовательность чисел  и т. д.

При моделировании марковских случайных процессов для формирования на ЦВМ случайных чисел с заданным законом распределения могут быть использованы методы, рассмотренные в § 1.4.

В более общем случае рассматриваются -мерные марковские процессы, т. е.  взаимосвязанных между собой процессов  в совокупности обладающих марковскими свойствами. Эти процессы характеризуются условной плотностью вероятностей перехода из состояния  в момент времени  в состояние  в момент времени  которая имеет вид

                      (2.136)

Моделирование -мерных марковских процессов по заданной условной плотности вероятностей перехода (2.136) в принципе не отличается от моделирования рассмотренных выше одномерных (простейших) марковских процессов, однако получение -мерных дискретных реализаций с ростом  усложняется, так как на каждом шаге требуется формировать реализации -мерных случайных векторов. Последнее, как было показано в § 1.5, вообще говоря, является непростой задачей.

Другим обобщением одномерных марковских процессов являются одномерные марковские процессы -го порядка, отличающиеся от простейших марковских процессов тем, что плотность вероятностей перехода в очередное состояние зависит не от одного, а от  предшествующих состояний. Показано [78], что марковский процесс -го порядка можно рассматривать как компоненту -мерного марковского процесса, поэтому моделирование марковских процессов -го порядка может быть сведено к моделированию -мерных марковских процессов.

Выше шла речь о моделировании марковских процессов общего вида: на характеристики процессов не накладывалось других ограничений, кроме указанных выше. В приложениях распространенными являются марковские процессы, которые удовлетворяют дополнительным условиям, чаще всего, условию нормальности распределения, стационарности (однородности), а также условию нормальности и стационарности одновременно.

В этих случаях моделирование марковских процессов упрощается.

Действительно, у стационарных марковских случайных процессов плотность вероятностей перехода .вида (2.135) и (2.136) зависит лишь от разности . Это упрощает процесс моделирования (в особенности для одномерных марковских процессов), так как уменьшается число аргументов функции , которую требуется хранить в памяти ЦВМ при моделировании. Число аргументов при переменном шаге дискретизации уменьшается на одну, а при постоянном — на две единицы. Функция  имеет в этих случаях вид  и  соответственно, где .

При моделировании нормальных марковских процессов, у которых плотности вероятностей перехода вида (2.135) и (2.136) являются нормальными, на каждом шаге требуется формировать реализации только нормальных случайных величин (одномерных или -мерных соответственно), что осуществляется, как было показано в первой главе, сравнительно просто.

Можно показать [78], что нормальные марковские процессы -го порядка являются нормальными случайными процессами, -е производные которых стационарны и имеют рациональный спектр (см. § 2.10), а при  — просто стационарными нормальными случайными процессами с рациональным спектром.

Методы моделирования таких процессов по их корреляционно-спектральным характеристикам были рассмотрены в § 2.3; 2.4; 2.6; 2.9; 2.10. В частности, марковским стационарным нормальным процессом 1-го порядка является экспоненциально-коррелированный процесс, который неоднократно упоминался выше (§ 2.3, пример 2; § 2.6, табл. 2.2, № 1 и др.). Этим единственным процессом и исчерпывается класс марковских стационарных нормальных процессов 1-го порядка [78]. К марковским стационарным нормальным процессам относятся процессы № 2—5 в табл. 1.2, § 2.6 (процессы 2-го порядка). Три примера марковских нормальных нестационарных процессов рассмотрены в §2.10 (случайный процесс со стационарной экспоненциально-коррелированной первой производной и винеровские процессы 1-го и 2-го порядка). Вопросы моделирования марковских стационарных нормальных случайных процессов -го порядка с переменнным шагом рассмотрены в работе [66].

Специальным классом марковских случайных процессов являются марковские цепи [7]. Они отличаются от рассмотренных выше марковских процессов тем, что множество возможных состояний их является дискретным и, в частности, конечным (конечные цепи Маркова).

Марковские цепи характеризуются матрицей вероятностей перехода

                            (2.137)

из состояния  в момент времени  в состояние  в момент времени , где  — величина с дискретным множеством значений

Моделирование марковских цепей по заданной матрице вероятностей перехода (2.137) в принципе осуществляется так же, как и моделирование марковских процессов по заданной условной плотности вероятностей перехода. Отличие состоит только в том, что вместо реализаций непрерывных случайных величин на каждом шаге требуется формировать реализации дискретных случайных величин (с бесконечным или конечным множеством значений).