Цепь Маркова с двумя состояниями

Пусть цепь Маркова имеет два состояния и (рис. 2.2) с вероятностями начального состояния и , где . Одношаговые вероятности перехода не зависят от времени и заданы: . Исключим из дальнейшего рассмотрения два тривиальных случая: 1) 2) , т. е. . В первом случае не происходит смены состояний (оба состояния являются поглощающими) и система остается в заданном начальном состоянии. Во втором случае смена состояний происходит детерминированным образом и если начальное состояние задано, то поведение системы будет неслучайным.

Определим вероятности перехода за шагов, абсолютные вероятности и финальные вероятности .

Применительно к данному примеру в уравнениях (35) и (38) нужно положить . Из первого уравнения (35) и уравнения (38) имеем

Отсюда находим финальные вероятности

Для нахождения матрицы вероятностей перехода за шагов воспользуемся следующим результатом, известным из теории матриц (см. Приложение 1). Матрицу , имеющую различные характеристические корни, всегда можно представить в виде

Здесь — невырожденная матрица (детерминант этой матрицы отличен от нуля размерности — матрица, обратная — характеристические корни матрицы , т. е. корни уравнения , где — единичная матрица.

Используя представление матрицы в виде (40), получим

Для рассматгмвпемой цепи матрица вероятностей перехода за один шаг имеет вид

Из уравнения

находим характеристические корни

При они различны.

Выражение (40) можно записать в виде

Отсюда получаем систему из четырех попарно-тождественных линейных уравнений для определения :

Находим

Учтем, что умножение столбцов матрицы на постоянную величину не влияет на конечный результат. Полагая ради простоты последующих записей и , получим

Следовательно,

На основании (41) находим матрицу вероятностей перехода за шагов

Заметим, что при и . Поэтому при и

где — финальные вероятности (39).

По формуле (31) находим абсолютные вероятности состояний через шагов

Отсюда при также получаем прежние значения финальных вероятностей (39).

При анализе цепей Маркова могут встретиться разнообразные задачи (см. §4). Кроме рассмотренных, на примере цепи Маркова с двумя состояниями укажем еще две задачи.

Можно интересоваться долей времени, проведенного системой в одном из состояний течение большого интервала времени. Отождествим состояние , с нулем и состояние с единицей. Пусть случайная величина обозначает состояние системы в момент времени , причем интервалы времени между соседними скачками одинаковы, т. е. . Тогда сумма представляет собой число раз из общего числа , проведенных системой в состоянии , Обозначим начальное состояние через и .

Известно, что математическое ожидание случайной величины , принимающей лишь два значения 0 и 1, совпадает с вероятностью . Поэтому

Здесь и в дальнейшем углорые скобки обозначают операцию статистического осреднения

Среднее значение относительной доли иремеии, проведенного системой в состоянии 1, очевидно, равно

Известно, что если предел последовательности при равен , то предел последовательности также равен . Поскольку при , то среднее значение относительной доли времени, проведенного в состоянии 1, стремится к финальной вероятности при .

Рис. 2.3. К вычислению рекуррентного времени состояния

Рис. 2.4. Симметричная цепь Маркове с двумя состояниями.

Аналогично, предел средней доли времени в состоянии 0 равен . Финальные вероятности и даются формулой (39).

Предположим, что начальным состоянием является 0. Рассмотрим случайную величину , обозначающую время первого возвращения в состояние 0. По определению, , если в моменты времени система находится в состоянии 1, а в момевт времени впервые возвращается в состояние 0 (рис. 2.3). Случайная величина называется рекуррентным временем состояния 0. Обозначим закон распределения случайной величины через . Из рассмотрения рис. 2.3 можно заключить, что

Воспользовавшись известным ряпенством [19]

находим среднее значение рекуррентного времени состояния 0

Рассмотрим три примера.

Пример 1. Симметричная цепь Маркова с двумя состояниями. Пусть цепь Маркова имеет два состоянии и (рис. 2.4) с вероятностями начального состояния и , где . Известны одношаговые вероятности перехода , где . Так как матрица одношаговых вероятностей перехода

симметрична, то цепь называется симметричной. Рассматриваемая иепь является однородной, так как вероятности перехода непосредственно не зависят от номера шага, при котором происходит смена достояний.

Нужно определить вероятности за шагов, абсолютные вероятности и финальные вероятности .

Ответы на эти вопросы можно получить непосредственно из формул (44), (45) и (39), нужно лишь в них положить , как это следует из сравнения матриц (42) и (46). Поэтому сразу записываем окончательные ответы

(2.47)

Следовательно, цепь является эргодической и для нее существуют финальные вероятности. Из выражений для видно, что после начального момента времени в цепи имеет место переходный режим и лишь через достаточно большое число шагов асимптотически устанавливается стационарное (равновесное) состояние. Однако, если бы начальные вероятности совпадали с финальными , то переходный процесс отсутствовал бы и цепь сразу была бы стационарной.

Приведенному примеру можно дать следующую радиотехническую интерпретацию. Пусть система связи передает двоичные символы, которые обозначим через и . Каждый переданный символ проходит через несколько устройств (каскадов), в каждом из выходной символ с вероятностью воспроизводится верно и с вероятностью переходит в другой. Пусть — символ на выходе -го устройства. Тогда последовательность . есть однородная цепь Маркова с матрицей вероятностей перехода [46].

Предположим, что нас интересует вопрос: какова вероятность того, что если на выходе -го устройства принят символ , то был передан этот же символ.

В общем случае на основании теоремы умножения можем написать

т.е.

Отсюда

Полагая здесь и воспользовавшись выражениями (47), получаем нужный результат

Пример 2. Квазислучайный телеграфный сигнал. Пусть дискретный случайный процесс имеет два состояния , причем смена состояний возможна в фиксированные моменты времени , где — целое положительное число, — случайная величина, не зависящая от и равномерно распределенная на отрезке . Предполагается, что остаются в силе условия примера 1, причем и . Получающийся видеосигнал (рис. 2.5) назван квазислучайным телеграфным сигналом в отличие от случайного двоичного сигнала (см. пример 1 на с. 72), у которого смена состояний может осуществляться в произвольные моменты времени. Нужно найти корреляционную функцию и энергетический спектр такого квазислучайного телеграфного сигнала в стационарном состоянии.

Известно, что корреляционная функция любого стационарного процесса является четной функцией аргумента и определяется равенством

где угловые скобки обозначают операцию статистического осреднения.

Так как в рассматриваемом частном случае вероятности состояний одинаковы , то математическое ожидание процесса при любом равно нулю:

Поэтому

Вычислим сначала корреляционную функцию сигнала , считая случайную величину фиксированной:

Рис. 2.5. Квазислучайный телеграфный сигнал.

Пусть на отрезке лежит возможных точек перехода (рис. 2.5). Если сигнал имеет лишь два значения , то произведение будет положительным и равным , если оба копца -отрезка находятся на положительных или на отрицательных импульсах. Когда концы -отрезка лежат на разнополярных импульсах, произведение отрицательно и равно — . Поэтому можем написать

так как , то

Выше было показано, что для рассматриваемой симметричной цепи

Поэтому

Пусть , где . Тогда возможны два случая.

1. Если , то отрезок содержит разрешенную точку перехода (рис. 2.5) и, следовательно, имеем

2. Если , то на отрезке находится точек перехода и

Так как случайная величина не фиксирована, а может принимать любые значения на отрезке , то нужно осреднить выражения и с учетом указанных двух условий по с плотностью вероятности при . В результате этого для получим

По условию четности корреляционной функции такое же выражение применимо и для , нужно лишь заменить на .

Окончательная формула для интересующей нас корреляционной функции квазислучайного телеграфного сигнала следующая:

По функции находим энергетический спектр сигнала

Для частного случая из полученных формул находим

Графики корреляционной функции и энергетического спектра для трех значений изображены на рис. 2.6.

Отметим, что если полагать начало отсчета времени совпадающим с моментом возможного изменения состояния , то такой телеграфный сигнал оказывается нестационарным.

В этом особенно легко можно убедиться для симметричного квазислучайного телеграфного сигнала . Для такого сигнала

Рис. 2.6. Корреляционная функции (а) и энергетический спектр (б).

Видно, что корреляционная функция зависит порознь от двух рассматриваемых моментов времени и , и, следовательно, в этом смысле процесс нестационарен.

Пример 3. Функция корреляции радиосигнала со случайной фазовой манипуляцией. Вычислим корреляционную функцию радиосигнала со случайной начальной фазой при наличии дополнительной фазовой манипуляции квазислучайным телеграфным сигналом. Рассматриваемый радиосигнал имеет вид

Здесь

— случайная начальная фаза, не зависящая от и равномерно распределенная на отрезке .

Такое задание фазовой манипуляции означает, что во временных полуинтервалах фаза остается постоянной и равной , а в моменты времени , она меняется скачками.

Пусть есть симметричная цепь Маркова с двумя состояниями . Ограничиваясь рассмотрением стационарного состояния, примем вероятности начального состояния совпадающими с финальными вероятностями состояний, т. е. одношаговые вероятности перехода равны . По аналогии с предыдущим примером считаем, что смена состояний процесса может происходить только через фиксированный интервал времени , т. е. в моменты времени , где — целое положительное число, — случайная величина, не зависящая от и равномерно распределенная на отрезке .

Запишем плотность вероятности случайной начальной фазы

и обозначим одномерную плотность вероятности случайного процесса через , а двумерную плотность вероятности через , где . При этом будем пока считать .

Так как среднее значение рассматриваемого сигнала равно нулю

то, по определению корреляционной функции, можем написать

Здесь индексы при угловых скобках указывают случайные величины, по которым должно выполняться статистическое осреднение. Подставив сюда выражение для сигнала, имеем

Второе слагаемое справа обращается в нуль в результате осреднения по случайной начальной фазе . Пользуясь комплексным представлением для косинуса и учитывая линейность операции взятия реальной части и осреднения, можем написать

Фигурирующее здесь статистическое среднее значение экспоненты выразим через заданные статистические характеристики случайных последовательностей и .

Для этого воспользуемся формулой полной вероятности

Здесь — вероятность наличия в интервале разрешенных точек перехода, — условная двумерная плотность вероятности значений и при условии, что в интервале имеется ровно возможных точек перехода. Поэтому можем написать

где

При фиксированном числе точек перехода величина если оба конца -отрезка находятся или на положительных , или на отрицательных «импульсах». Если , то , а при имеем . Следовательно,

Для стационарной симметричной цепи Маркова с двумя состояниями абсолютные вероятности состояний , а для вероятностей перехода за шагов справедливы равенства . Поэтому . Подставив сюда выражения вероятностей перехода из (47), получим

Формула для корреляционной функции теперь принимает вид

Получим выражение для вероятности наличия точек перехода на интервале длиной . Выберем произвольно начало отсчета времени и пусть первый разрешенный переход исходит в момент времени , а все последующие переходы возможны в моменты времени (рис. 2.7). Пусть есть целая часть числа . Из рассмотрения рис. 2.7 можно убедиться, что при фиксированном значении случайной величины число возможных точек перехода в интервале равно , т. е.

где — символ Кронекера: при и при .

Рис. 2.7. К вычислению вероятности .

Рис. 2.8 Графики функций для .

В зависимости от значения , возможны два случая:

Безусловную вероятность находим осреднением выражения с равномерной плотностью вероятности случайной величины :

Графики этой функции для значении показаны на рис. 2.8.

С учетом этой формулы находим корреляционную функцию

где

Выражение (60) отличается от формулы для корреляционной функции (50) лишь наличием в последней постоянного сомножителя . Поэтому графики для корреляционной функции , приведенные на рис. 2.6,а , останутся справедливыми и для функции . нужно только изменить масштаб по оси ординат.

Для некоторых частных значений формула (59) упрощается. Например,

Последнее выражение определяет корреляционную функцию гармонического колебания со случайной равномерно распределенной начальной фазой. Этот результат объясняется тем, что при величина скачка фазы равна (от до или наоборот), а при таких скачках фазы значение сигнала не изменяется. Особенно простое выражение для корреляционной функции получается при и . В данном случае и в формуле (60) нужно учитывать лишь один член, соответствующий . При этом получим

По найденной корреляционной функции находим энергетический спектр

При эта формула с точностью до постоянного множителя совпадает с (51).

В общем случае энергетический спектр оказывается дискретно-сплошным, т. е. состоящим из дискретных линий и непрерывной части. При спектр будет сплошным, а при — чисто дискретным.