4.3. Марковские случайные процессы

Чтобы дать полное статистическое описание случайной последовательности , необходимо задать совместную плотность вероятности , что может оказаться просто невозможным при больших значениях . В предыдущем параграфе было указано, что если случайные величины являются нормальными, то знания двух моментов  и , для всех значений индексов  и  от 1 до  (т.е. для всех ) достаточно для полного определения плотности вероятности . В этом параграфе будет рассматриваться процесс, для которого проблема отыскания алгоритмов оптимального оценивания или оптимального решения так же, как и для нормального процесса, существенно упрощается.

Марковский процесс может быть процессом с дискретным или непрерывным временем. Процесс с дискретным временем (последовательность) , или процесс с непрерывным временем  называется марковским, если для каждого

,       (4.32)

где . В дискретном случае  и  принимают только дискретные значения. Таким образом, для марковского процесса условная плотность вероятности его значений в момент времени  при заданном значении  зависит только от значения  и не зависит от значений процесса до момента .

Простое, но важное свойство марковскго процесса состоит в том, что его совместные плотности вероятности могут быть представлены в виде произведений переходных плотностей вероятности. Переходная плотность вероятности

.

Любую совместную плотность вероятности можно представить с помощью условных плотностей следующим образом:

         (4.34)

Здесь для последовательностей   и  при  введены обозначения и  соответственно. Если  является марковским процессом, то

         (4.35)

и для совместной плотности вероятности получаем

,              (4.36)

т.е. начальная одномерная плотность вероятности  и переходная плотность вероятности в этом случае полностью определяют совместную плотность .

Пример 4.1. Приведем полезное представление для совместной плотности вероятсности  -мерного марковского процесса если

.

где  “белый” нормальный процесс, для которого

Будем предполагать также, что  является нормальной величиной. В этом случае  как линейная комбинация нормальных случайных величин также является нормальной. Из §24 и 42 следует, что для условных моментов величины  можно записать

.

Таким образом, на основании ф-лы (4.36) получаем

Подобные представления являются чрезвычайно важными для последующего изложения. Во многих случаях оказывается желательной несколько иная форма записи совместной плотности вероятности:

Отсюда, в частности, очевидно, что нельзя получить аналог этого представления для процесса с непрерывным временем, неограниченно уплотняя моменты отсчетов. Действительно, при неограниченном увеличении  приведенные выражения теряют смысл. Однако в дальнейшем будут рассматриваться отношения плотностей вероятности, для которых при увеличении  оказывается возможным получение полезных и имеющих смысл результатов.

Марковский процесс – однородный, если  не зависит от . Говорят также, что такой процесс имеет стационарный механизм перехода. Для однородного марковского процесса  зависит только от разности  (или ). Механизм перехода из состояния  в состояние  за  шагов для (однородного) марковского процесса характеризуется условной плотностью вероятности . Отметим, что однородный марковский процесс не обязательно стационарный, даже если он имеет стационарный механизм перехода. Так как  является условной плотностью величины  при условии, что фиксировано значение , то должно

.            (4.37)

Полезное соотношение для марковских необязательно однородных процессов может быть получено следующим образом. Известно, что

         (4.38)

Кроме того, что марковского процесса из (4.36) имеем

.        (4.39)

Поскольку , то, объединяя три последних равенства, получаем уравнение

,             (4.40)

которое известно как уравнение  Колмогорова–Чепмена.

Полезно рассмотреть эволюцию плотности  как функции от . К сожалению, на основании ур-ния (4.40) это сделать нелегко. Если бы оказалось возможным найти уравнение, описывающее эту эволюцию, то тем самым был бы решен вопрос об определении этой плотности вероятности для большого класса нелинейных систем со случайным входом. Известно, что

.         (4.41)

В этом выражении для простоты дальнейших рассуждений принято, что -скалярная величина. Интегрируя обе части равенства (4.41), получим

.

Введем теперь следующие обозначения: . Тогда

    (4.42)

Воспользуемся теперь характеристической функцией условной плотности :

,              (4.43)

которая является прямым преобразованием Фурье функции , умноженной на . Так как справедливо и обратное преобразование

,       (4.44)

то можно записать

.             (4.45)

Но характеристическую функцию можно представить в виде следующего разложения по моментам относительно значения :

,         (4.46)

где

.       (4.47)

Следовательно,

           (4.48)

Заметим, что плотность вероятности  может (а в общем случае и будет) зависеть явно от времени, так что здесь более точным было бы обозначение . Однако ради простоты здесь будет использоваться обозначение ; при этом надо помнить, что  может явно зависеть от времени.

Далее, так как

               (4.49)

то из (4.48) имеем

Наконец, разделив обе части этого равенства на  и устремив  к нулю, получим

          (4.51)

Это уравнение в частных производных называется стохастическим или кинетическим уравнением. Его решение необходимо отыскать при следующем начальном условии:

,          (4.52)

которое представляет собой известную плотность случайной величины  в начальный момент.

Величина  есть предел при  отношения -го статистического момента процесса  при условии, что, к приращению аргумента . Таким образом, если положить , то выражение

               (4.53)

можно записать в следующей удобной форме:

     (4.54)

где использовано обозначение .

Очень интересным и важным является случай, когда процесс  удовлетворяет дифференциальному уравнению

,             (4.55)

в котором  - “белый” нормальный случайный процесс нулевым средним значением и

.            (4.56)

Можно показать, что в этом случае

            (4.57)

Следовательно, ур-ние (4.51) принимает вид

.          (4.58)

Это уравнение известно как уравнение Фоккера–Планка. Оно решается при граничном условии . Если в качестве граничного условия используется , то очевидно, что функция плотности вероятности с таким граничным условием является функцией переходной плотности вероятности

.              (4.59)

В этом случае уравнение Фоккера–Планка можно переписать следующим образом:

       (4.60)

Это уравнение часто прямым уравнением Колмогорова. Если выписать сопряженное ему уравнение, то получим обратное уравнение Колмогорова

      (4.61)

которое оказывается очень полезным для теории стохастического управления. Обратное уравнение можно вывести точно так же, как и прямое. Оба уравнения иногда называют также диффузорными уравнениями. Они подробно обсуждаются в монографиях по теории случайных процессов [28], [56], [257].

В дальнейшем в основном будут рассматриваться векторные случайные процессы. Прямое и обратное уравнения, только что полученные, можно модифицировать таким образом, чтобы они оказались справедливыми и для векторных процессов. Это будет сделано в следующем параграфе, где будет получено модифицированное уравнение Фоккера–Планка для условной плотности вероятности вектора переменных состояния  при фиксированных наблюдениях .

Пример 4.2. Рассмотрим решение уравнения Фоккера–Планка для очень простого случая. Пусть модель “сообщения” является линейной, т.е.

.

Уравнение Фоккера–Планка в этом случае имеет вид

Это уравнение можно записать в следующей более простой форме, если опустить обозначения  и

.

Предположим теперь, что нормальное распределение с дисперсией  и  плотностью

является решением этого уравнения. После подстановки этой плотности в уравнение и сокращения экспоненциального множителя получим

Выделим в обеих частях уравнения слагаемые содержащие  и не содержащие , и запишем

;

Если теперь первое выражение подставить во второе и вспомнить, что , то придем к следующим уравнениям

.

Первое иэ этих уравнений уже встречалось ранее в одной частной задаче и является уравнением для дисперсии Второе уравнение ошнсывает изменение во времени среднего значения Их решения легко находятся, например, так, как это было сделано в § 35.

Попутно при рассмотрении данного примера еще раз доказано утверждение о том, что случайный процесс на выходе линейной системы, на вход которое воздействует нормальный процесс, также является нормальным. Можно было бы теперь решить обратно" диффузионное уравнение с тем, чтобы получить результаты, чрезвычайно полезные при решении задач теории стохастического управления [258]. Однако этот вопрос не будет здесь исследоваться. Отметим только, что решение обратного уравнения находится в основном тем же способом, как  решение прямого уравнения.

Чтобы продолжить обсуждение вопросов преобразований марковских процессов в нелинейных системах необходимо уметь с величайшей осторожностью обращаться с непрерывными процессами. Здесь очень легко можно совершить ошибки, которые приведут к совершенно неверным результатам. Чтобы избежать этих ошибок в следующем специально выделенном параграфе, рассмотрим стохастические дифференциальные уравнения и их применение для получения дифференциальных уравнений для условных плотностей вероятности.