5.4. МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ

5.4.1. Вероятностные характеристики.

Из определения марковского процесса, приведенного в п.5.1.6, а также непосредственно из формулы (5.6) следует

Условную плотность

называют плотностью вероятности перехода марковского процесса из состояния у в момент s в состояние х в момент t.

Используя формулу (2.57), определяем многомерную плотность вероятности (любого конечного порядка) марковского процесса

Формула (5.60) означает факторизацию многомерной плотности вероятности марковского процесса — представление ее в виде произведения одномерной плотности и плотностей вероятности перехода. Условие факторизации (5.60) многомерной плотности — характерная особенность марковских процессов (ср. с аналогичным более простым условием факторизации (5.4) для процессов с независимыми значениями).

Одномерная плотность и плотность вероятности перехода связаны соотношением

Плотность вероятности перехода марковского процесса не является произвольной условной функцией распределения, удовлетворяющей только обычным условиям неотрицательности и нормировки, т. е. . Она должна еще удовлетворять некоторому интегральному уравнению. Действительно, из (5.60) при имеем

Интегрируя обе части этого равенства по , получаем

и так как

то

Интегральное уравнение (5.62) называют уравнением Колмогорова — Чепмена.

5.4.2. Однородные марковские процессы.

Если распределение вероятностей марковского процесса инвариантно временному сдвигу, то его называют однородным (стационарным). В этом случае плотность вероятности перехода (5.59) зависит лишь от одного временного параметра .

Условие факторизации многомерной плотности однородного марковского процесса записывается в виде )[см. (5.60)]

а уравнение Колмогорова — Чепмена

Отметим, что класс однородных марковских процессов совпадает с рассмотренным классом однородных случайных процессов с независимыми приращениями.

5.4.3. Многосвязный марковский процесс.

Назовем марковский процесс -связным, если плотность вероятности перехода зависит от k предыдущих значений процесса [см. (5.58)]:

Условие факторизации многомерной плотности связного марковского процесса записывается в виде

а уравнение Колмогорова — Чепмена

5.4.4. Векторный марковский процесс.

Совокупность случайных процессов образует векторный марковский процесс, если для полного вероятностного описания этой совокупности необходимо и достаточно знать совместное распределение

и условное распределение

или соответствующую плотность вероятности перехода

Заменяя — (5.62) скалярные величины векторными, получаем соответствующие соотношения для векторного марковского процесса.

Каждый из случайных процессов принадлежащий совокупности, образующей векторный марковский процесс, называют компонентой векторного марковского процесса, которая, однако, не является скалярным марковским процессом, вообще говоря.

Отметим связь (векторного и многосвязного марковских процессов: -связную марковскую последовательность можно интерпретировать и как векторную (размера k) марковскую последовательность

5.4.5. Гауссовский марковский процесс.

Марковский процесс называют гауссовским, если его распределение подчиняется нормальному закону распределения вероятностей (см. п. 5.2.1). Как для любого гауссовского процесса, корреляционная функция гауссовского марковского процесса обеспечивает его полное вероятностное описание. Можно доказать, что случайный процесс является центрированным гауссовским марковским процессом тогда и только тогда, когда при его корреляционная функция удовлетворяет уравнению

Для однородного гауссовского марковского процесса условие (5.71) записывается при помощи нормированной корреляционной функции, зависящей, естественно, от одного аргумента

За исключением тривиального решения уравнение (5.72) имеет единственное решение

Таким образом, стационарный центрированный гауссовский процесс с дисперсией — марковский тогда и только тогда, когда его корреляционная функция (рис. 5.4)

или соответствующая спектральная плотность мощности процесса (рис. 5.5)

Из (5.74) и, соответственно, из (5.75) следует, что однородный гауссовский марковский процесс непрерывен в среднеквадратическом, но не дифференцируем в среднеквадратическом также задачу 5.6).

Рис. 5.4. Нормированная корреляционная функция однородного гауссовского марковского процесса

Рис. 5.5. Спектральная плотность мощности однородного гауссовского марковского процесса

5.4.6. Гауссовская марковская последовательность.

Пусть — последовательность центрированных гауссовских случайных величин с дисперсиями и коэффициентами корреляции Для того чтобы эта последовательность была марковской, необходимо и достаточно, чтобы

(5.76)

Для стационарной гауссовской марковской последовательности из (5.76) следует

где — коэффициент корреляции между двумя соседними членами последовательности.

Каждая подпоследовательность гауссовской марковской последовательности также гауссовская, марковская.

5.4.7. Дифференциальное уравнение для плотности вероятности перехода непрерывного марковского процесса.

Решение интегрального уравнения (5.62) Колмогорова — Чепмена представляет трудную задачу. Определение плотности вероятности перехода марковского процесса можно свести к решению дифференциального уравнения, если ограничиться непрерывными процессами. Марковский процесс называют непрерывным, если за малые промежутки времени лишь с малой вероятностью возможны заметные перемещения. Точнее говоря, это означает, что каково бы ни было

Реализации непрерывного марковского процесса с вероятностью единица непрерывны.

Из уравнения (5.62), полагая и изменяя обозначения переменных, получаем

Кроме того, очевидно, что

Из последних двух равенств следует

Предположим, что плотность вероятности перехода можно разложить в ряд Тейлора

Подставив (5.80) в (5.79), поделив обе части на и перейдя к пределу при получим

где

5.4.8. Диффузионные процессы.

Если функции конечны отлично от нуля и при , то непрерывный марковский процесс называется диффузионным. Из (5.81) следует, что плотность вероятности перехода диффузионного процесса удовлетворяет дифференциальному уравнению в частных производных

называемому обратным уравнением Колмогорова.

Аналогично можно доказать, что плотность вероятности перехода диффузионного процесса удовлетворяет и прямому уравнению Колмогорова:

где

(5.85)

коэффициент сноса, а

— коэффициент диффузии.

Прямое уравнение Колмогорова (5.84) известно так же, как уравнение Фоккера — Плавка. Уравнения (5.83) и (5.84) принадлежат к классу параболических дифференциальных в частных производных. В (5.83) переменными являются а переменные у и Т входят только в условие . В (5.84) переменными являются у и и t входят только через начальное условие . Методы решения уравнений Колмогорова рассмотрены, например, [20, 21].

5.4.9. Стационарные диффузионные процессы.

Для стационарных диффузионных процессов коэффициенты сноса (5.85) и диффузии (5.86) не зависят от временного параметра, а плотность вероятности перехода зависит только от разности . Тогда из (5.84) получаем

с начальным условием

Если при существует предел плотности вероятности перехода, не зависящий от начального состояния то его называют предельной функцией распределения стационарного диффузного процесса

Из (5.88) следует, что . Поэтому предельную функцию распределения можно найти из обыкновенного дифференциального уравнения первого порядка

решение которого имеет вид

где

константы определяются из условия нормировки и граничного условия

5.4.10. Гауссовский диффузионный процесс.

Рассмотрим гауссовский стационарный случайный процесс с нулевым средним, дисперсией и нормированной корреляционной функцией . Условная плотность распределения этого случайного процесса [см. (2.74)]

где

Найдем для рассматриваемой условной плотности вероятности функции , ойределенные согласно (5.82):

(5.92)

где - значение производной при приближении к нулю справа. Если непрерывно в нуле, то Предположим, что терпит разрыв при . Тогда

Найдем частные производные:

Подставляя (5.95) — (5.97) в (5.87), получаем

Так как выражения в фигурных скобках совпадают и отличны от нуля, то условная плотность (5.91) гауссовского процесса удовлетворяет уравнению Колмогорова (5.87) при условии

Единственным решением уравнения (5.98), удовлетворяющим условию является

где

Таким образом, гауссовский стационарный случайный процесс с экспоненциальной корреляционной функцией является диффузионным. При иной корреляционной функции гауссовский случайный процесс не может быть диффузионным (см. п. 5.4.5).

Предельная функция распределения гауссовского диффузионного процесса

(5.100)

что согласуется и с (5.90).

5.4.11. Винеровский процесс как диффузионный процесс.

Из определения винеровского процесса, приведенного в п. 5.3.5, следует, что его условная плотность вероятности

(5.101)

Нетрудно убедиться, что коэффициент сноса винеровского процесса равен нулю, а коэффициент диффузии . Уравнение Колмогорова (5.87) в рассматриваемом случае имеет вид

(5.102)

и функция (5.101) удовлетворяет этому уравнению.

5.4.12. Стохастический интеграл Ито.

Пусть — винеровский процесс. Стохастический интеграл по винеровскому процессу, определяемый пределом в среднеквадратическом интегральной суммы

(5.103)

называется стохастическим интегралом Ито.

Из (5.103) и определения винеровского процесса следует, что

(5.104)

5.4.13. Прямое и косвенное описание диффузионного процесса.

Рассмотрим стохастическое интегральное уравнение

(5.106)

и соответствующее ему стохастическое дифференциальное уравнение

(5.107)

Можно доказать, что при определенных ограничениях (см. [22], гл. 8, § 3) плотность вероятности перехода случайного процесса определяемого уравнением (5.107), удовлетворяет уравнению Колмогорова с коэффициентом сноса и коэффициентом диффузии Верно и обратное утверждение: каждому диффузионному процессу, задаваемому своими плотностями вероятности перехода, которые удовлетворяют уравнению Колмогорова, соответствует стохастическое дифференциальное уравнение типа (5.107).

Представление диффузионного процесса уравнением (5.107) можно назвать его прямым описанием, а уравнение Колмогорова (5.102), определяющее вероятностные характеристики диффузионного процесса, — его косвенным описанием [16]. Эти уравнения устанавливают взаимно однозначное соответствие между прямым и косвенным описанием диффузионного процесса.