10. Непрерывный марковский процесс

Определение непрерывного марковского процесса

До сих пор изучались разрывные марковские процессы, характерной особенностью которых было то, что для малых временных интервалов вероятность сохранения предыдущего состояния превышала вероятность изменения состояния, причем каждое такое изменение состояния было существенным.

Рассмотрим теперь непрерывные (непрерывнозначные) марковские процессы. В противоположность разрывным процессам, непрерывные процессы характеризуются тем, что в любом малом интервале имеет место некоторое малое (порядка ) изменение состояния.

Приведем определение непрерывных марковских процессов . Возьмем в последовательные моменты времени значения случайного процесса . Процесс является марковским, если условные плотности вероятностей

зависят только от последнего значения , в момент , и не зависят от других более ранних значений, т. е.

Иначе говоря, будущее поведение марковского процесса не зависит от прошлого, если точно известно его состояние в настоящий момент времени. Именно поэтому марковские процессы также называются процессами без последействия.

Следовательно, для марковских процессов формулу (1) можно записать так

Интегрируя это равенство по , на основании условия согласованности плотностей вероятностей имеем

Отсюда следует, что при любом в формулу (2) входит одна и та же условная плотность вероятности , которую принято называть плотностью вероятности перехода (из состояния в состояние за время между и ).

Применяя последовательно соотношение (3) для разных , получим

Следовательно, многомерные плотности вероятностей марковских процессов выражаются через плотность вероятности перехода и одномерную начальную плотность вероятности . Можно сказать, что характерное свойство марковских процессов состоит в том, что начальная одномерная плотность вероятности и плотность вероятности перехода полностью определяют марковский случайный процесс.

Воспользовавшись соотношением (3) и теоремой умножения вероятностей, нетрудно проверить, что марковский процесс остается таковым и в обратном направлении, т. е.

Плотность вероятности перехода непрерывного марковского процесса удовлетворяет нескольким условиям.

1. Она неотрицательна и нормирована к единице

2. Переходит в дельта-функцию при совпадении рассматриваемых моментов времени (физически это означает малое изменение состояния за малые промежутки времени)

3. Удовлетворяет уравнению Смолуховского, являющемуся частным случаем уравнения Колмогорова—Чэпмена: для любых

В справедливости этого уравнения нетрудно убедиться. На основании (4) можем написать

По условию согласованности плотностей вероятностей интеграл слева равен двумерной плотности вероятности, которая для марковских процессов выражается через плотность вероятности перехода

Приравняв правые части выписанных равенств, получим (8).

В тех случаях, когда плотность вероятности перехода зависит только от разности временных аргументов , т. е.

марковский случайный процесс называется однородным во времени. Если при плотность вероятности перехода стремится к некоторому пределу

не зависящему от «начального» состояния , то говорят, что процесс эргодичен.

Если известна начальная плотность вероятности и найдена плотность вероятности перехода , то можно вычислить другие характеристики марковского процесса . Интегрируя обе части равенства (9) по , получим одномерную плотность вероятности в произвольный момент времени

Зная одномерную и двумерную плотности вероятностей можно вычислить корреляционную функцию

Если существует стационарное состояние, то одномерная плотность вероятности в стационарном состоянии не зависит от времени и равна , а двумерная плотность вероятности зависит только от разности рассматриваемых моментов времени :

Применительно к стационарному процессу формула (13) для функции корреляции упрощается

(10.15)

По функции (15) можно найти энергетический спектр стационарного процесса

(10.16)