6. Дискретный марковской процесс

Предположим, что случайный процесс представляет собой ступенчатую кривую вида рис. 6.1, т. е. может принимать только дискретные значения или , причем смена этих значений (состояний) происходит в некоторые случайные моменты времени.

Введем вероятности перехода

Это есть условные вероятности принять системе состояния в момент времени , если известно, что в предшествующий момент времени она находилась в состоянии .

Очевидно, что

В формуле (2) и ниже суммирование производится по всевозможным состояниям .

Те же соображения, которые применялись при получении уравнения (2.16), позволяют записать для дискретного марковского процесса следующее уравнение Колмогорова — Чэпмена:

Основная задача при рассмотрении марковских процессов состоит в вычислении вероятностей перехода и безусловных (абсолютных) вероятностей различных состояний, если известны начальное состояние системы и одношаговые вероятности перехода.

В случае разрывных марковских процессов для малых временных интервалов вероятности перехода имеют вид

Здесь символом обозначены члены выше первого порядка малости относительно , т. е. . Конечно, возможность записи (5) должна следовать из анализа физических процессов в рассматриваемой системе.

Рис. 6.1. Дискретный марковский процесс.

Соотношения (5) показывают, что характерная черта рассматриваемых процессов состоит в том, что для малых временных интервалов вероятность того, что состояние не изменится, превышает вероятность изменения состояний.

Первое соотношение (5) согласуется с (3) и физически выражает два факта: во-первых, что при система достоверно находится в состоянии и, во-вторых, вероятность перехода из данного состояния в любое другое возможное состояние в общем случае зависит от рассматриваемого момента времени и для малого временного интервала пропорциональна величине этого интервала. Второе соотношение (5) говорит о том, что вероятность смены состояния (зависящая от рассматриваемого момента времени) за малый интервал времени пропорциональна величине этого интервала.

Так как вероятности перехода из одного состояния в другое неотрицательны и для них должно выполняться условие нормировки (2), то из (5) получаем

Подставив (5) в правую часть уравнения (4) и перейдя к пределу при , получим следующую систему линейных дифференциальных уравнений:

где удовлетворяют соотношению (6). Решение этой системы при начальных условиях (3) дает зависимость вероятностей перехода от времени. Если число возможных состояний системы конечно, то для любых непрерывных функций , удовлетворяющих условиям (6), система уравнений (7) с начальными условиями (3) имеет единственное неотрицательное решение, которое определяет дискретный марковский процесс.

Дискретный марковский процесс остается марковским и в обратном направлении. При этом наряду с уравнениями (7), для процесса оказывается справедливой и другая система уравнений. Для получения этих уравнений выберем промежуточный момент времени близким не к «конечному», а к «начальному» моменту времени . Запишем уравнения (4) в виде

Учтем, что для достаточно малых справедливы равенства

Подставив (9) в правую часть уравнений (8) и перейдя к пределу при , получим следующую систему линейных дифференциальных уравнений:

Уравнения (7) часто называют «прямыми», а уравнения (10) «обратными».

Уравнениям (7) удовлетворяют не только вероятности перехода, но и абсолютые вероятности состояний . Действительно, если заданы начальные вероятности состояний , то для дискретного марковского процесса справедливы соотношения

Умножив обе части уравнений (7) на и взяв сумму по i, с учетом (11) получим

Эти дифференциальные уравнения нужно интегрировать при начальных условиях

Дискретный марковский процесс называется однородным, если вероятности перехода зависят только от разности :

Из (5) следует, что для однородного процесса постоянные величины и дифференциальные уравнения (7) и (10) упрощаются

Рис 6.2. Случайный двойной сигнал.

Если при существуют предельные значения вероятностей перехода

которые не зависят от начального состояния, то говорят, что марковский процесс обладает эрготическим свойством и существует однозначно-определенное стационарное (равновесное) состояние.

Как следует из (2) и (15), вероятности стационарных состоянии определяются системой алгебраических уравнений

Рассмотрим два примера.

Пример 1. Дискретный марковский процесс с двумя состояниями (случайный двоичный сигнал). Пусть процесс в любой момент времени может принимать лишь два значения или (рис. 6.2), причем вероятность перехода за малое время равна , а вероятность перехода равна . Известны вероятности начального состояния и .

Нужно вычислить вероятности перехода где , вероятности стационарного состояния и , а также среднее значение и корреляционную функцию процесса .

Укажем, что если дискретный марковский процесс имеет два произвольных состояния и , то его можно выразить через случайный процесс с двумя состояниями при помощи следующего линейного преобразования:

В рассматриваемом примере, как следует из (5), . Из (6) находим . Так как все четыре коэффициента — постоянные величины, не зависящие от времени, то процесс является однородным (см. ниже).

Дифференциальные уравнения (7) принимают вид

Из условия нормировки (2) имеем . Поэтому первое из уравнений (20) можно записать иначе

Общее решение этого линейного неоднородного дифференциального уравнения первого порядка с начальным условием , которое следует из (3), известно

В результате решения системы уравнений (20) для любых получим

Отсюда видно, что рассматриваемый марковский процесс с двумя состояниями является однородным, так как вероятности перехода зависят только от разности фигурирующих в них времен. Кроме этого, процесс эргодичен, поскольку при существуют предельные значения вероятностей перехода

которые определяют вероятности стационарного состояния. Эти вероятности можно было легко найти из уравнений (18).

Зная вероятности начального состояния и вероятности перехода, легко находим общие выражения для абсолютных вероятностей состояний

По определению, среднее значение процесса равно

Здесь последнее равенство написано на основании формулы (11). Подставив выражения вероятностей перехода из (22), получим

Вычислим теперь корреляционную функцию

Расписав, по определению, среднее значение произведения, имеем

Воспользовавшись формулами (22), (23) и (26), находим

Предположим теперь, что в качестве вероятности начального состояния взята вероятность стационарного состояния, т. е. .

В данном случае процесс будет стационарным с момента времени и из формул (24) и (25) получим

На основании четности корреляционной функции стационарного процесса приходим к следующей окончательной формуле, справедливой для положительных и отрицательных значений ,

Если , то процесс принято называть симметричным случайным двоичным сигналом (случайным телеграфным сигналом). Полагая в предыдущих формулах , находим вероятности перехода, вероятности стационарного состояния, а также среднее значение и функцию корреляции в стационарном состоянии для случайного телеграфного сигнала :

Пример 2. Корреляционная функция радиосигнала со случайной фазовой манипуляцией. Вычислим корреляционную функцию радиосигнала (2.53), считая теперь, что фазовая манипуляция осуществляется стационарным случайным телеграфным сигналом, характеристики которого даются формулами (29).

Применительно к данному примеру остаются в силе все рассуждения, приведшие к выражению (2.55):

Каждая из случайных величин и может принимать только два значения . Учитывая вероятности различных комбинаций этих значений, можем написать

После подстановки сюда выражений (29) формула (30) примет вид

По корреляционной функции находим энергетический спектр

В общем случае энергетический спектр является дискретно-сплошным. В частном случае спектр будет сплошным, а при спектр оказывается чисто дискретным, совпадающим со спектром гармонического колебания со случайной и равномерно распределенной начальной фазой. Этот результат был пояснен и примере 3 § 2.