Глава 10. МАРКОВСКИЕ ПРОЦЕССЫ

10.1. Определение марковского процесса

1. Рассмотрим случайный процесс и зафиксируем некоторые моменты времени . Вероятность того, что значение лежит в интервале , если в момент случайный процесс имел значение в момент — значение в момент — значение равна произведению условной плотности вероятности на длину интервала:

Если рассматривать произвольный случайный процесс, то для него указанная вероятность, вообще говоря, зависит от . Это приводит к определенной «временной связанности» процесса, к существованию для него сильного последствия, в конечном счете, к более точному отражению особенностей реальных случайных процессов (например, их «гладкости»). Однако математический анализ таких процессов сильно усложняется, вплоть до практически полной безнадежности их глубокого и подробного исследования. По этой причине практически интересны своего рода «компромиссные» модели случайных процессов, которые достаточно просты в анализе и в то же время вполне удовлетворительно описывают реальные процессы. Вот такими случайными процессами, получившими широкое распространение и обоснованное признание, и являются марковские процессы.

Случайный процесс называется марковским, если его условная плотность вероятности зависит только от и не зависит от значений, принятых процессом во все предыдущие моменты времени. Другими словами, вероятность тех или иных значений марковского процесса в последующие моменты времени зависит только от значения, принимаемого процессом в настоящий момент, и совершенно не зависит от всей его предыстории.

2. С марковскими процессами тесно связано понятие вероятности переходов. Само по себе это понятие было введено в физике вне всякой связи с математической теорией случайных процессов и относилось к такой физической системе, состояние которой в заданный момент времени полностью определяло ее последующую эволюцию. Под вероятностью переходов понималась вероятность перехода системы из состояния имеющего место в момент в состояние в последующий момент времени . Однако не для всякой системы, подверженной случайным переходам, можно было ввести понятие вероятности переходов. Здесь существенной была независимость вероятности последующего перехода от всей предыстории состояний системы. Таким образом, понятие вероятности переходов существует только для таких систем, имеющееся состояние которых исчерпывающим образом определяет вероятности последующих переходов.

Поскольку для марковского процесса

(10.1.1)

то очевидно, что условная плотность вероятности, стоящая в правой части, есть не что иное, как плотность вероятности переходов, которую мы, в отличие от условной плотности вероятности, будем отмечать знаком «тильда» сверху. Итак, для марковского процесса

(10.1.2)

Для немарковского случайного процесса, для которого, разумеется, также существует условная плотность вероятности , соотношение (10.1.2) не имеет места.

3. Поскольку любое многомерное распределение может быть записано через условные плотности вероятности [см. (6.1.2)], постольку многомоментное распределение марковского процесса на основании (10.1.1), (10.1.2) выражается через одномоментную плотность вероятности и плотность вероятности переходов:

(10.1.3)

С другой стороны, марковские процессы полностью описываются и двумоментной плотностью вероятности

Марковский процесс называется однородным во времени, если вероятность переходов зависит только от разности моментов времени:

Если к тому же , то мы приходим к стационарному марковскому процессу.