6.11. Пример марковского процесса

Рассмотрим в качестве примера марковский процесс с двоичным алфавитом, показанный на рис. 6.11.1. Аналитически этот марковский процесс второго порядка задается следующим образом:

Каковы вероятности состояний 0,0; 0,1; 1,0 и 1,1? Используя очевидную симметрию, имеем Поэтому справедливы уравнения

Оба уравнения имеют одинаковый вид

Рис. 6.11.1. Марковский процесс

Поскольку в каждый момент система должна находиться в некотором состоянии, то

или

Решение уравнений (6.11.1) и (6.11.2) имеет вид

Это — стационарные вероятности эргодического процесса.

В общем случае для стационарных вероятностей можно выписать уравнения, однако решение часто оказывается трудной задачей. Возвращаясь к рассматриваемому примеру, составим таблицу для стационарных вероятностей:

(см. скан)

Исходя из этой таблицы, можно вычислить