5.2. Цепи Маркова

Для формализованного описания цепи Маркова удобно использовать понятия вероятностей состояний и переходных вероятностей. Поэтому введем следующие обозначения.

Пусть — множество возможных состояний системы

5. Вероятность реализации случайного события состоящего в том, что после j этапов система находится в состоянии обозначают и называют вероятностью состояния. Вектор вероятностей состояний системы 5 после j этапов обозначим

а вектор вероятностей начальных состояний —

Если ввести матрицу-строку

то равенство

можно представить в виде

Если — множество возможных состояний системы S, а — случайное событие, состоящее в том, что после j этапов система находится в состоянии то условную вероятность события при условии обозначают

и называют переходной вероятностью.

Определение 5.3. Матрицу для каждого фиксированного называют матрицей переходных вероятностей.

Определение 5.4. Цепь Маркова называют однородной, если матрица Р переходных вероятностей системы не зависит от номера этапа . В противном случае цепь Маркова называют неоднородной.

Рассмотрим некоторые свойства матриц переходных вероятностей.

Свойство 5.1. Сумма элементов любой строки матрицы переходных вероятностей равна 1, т.е.

Действительно, — полная группа событий для любого . Следовательно,

Свойство 5.2. Вектор вероятностей состояний после j этапов равен произведению транспонированной матрицы переходных вероятностей на вектор вероятностей состояний после этапов, т.е. .

Так как — полная группа событий при любом натуральном j, то по формуле полной вероятности имеем

или, что то же самое,

Свойство 5.3. Вектор вероятностей состояний после j этапов однозначно определяется матрицами переходных вероятностей и вектором вероятностей начального состояния

При этом, если цепь Маркова является однородной, то и где степень матрицы Р.

С учетом свойства 5.2 имеем

Замечание 5.1. При рассмотрении однородных цепей Маркова зачастую бывает удобно пользоваться графом состояний, на котором у стрелок выписаны соответствующие переходные вероятности. Такой граф принято называть размеченным графом состояний.

Рис. 5.3

Пример 5.3. Определим вероятности состояний цели из примера 5.2 после обстрела, если в начальный момент времени она находилась в состоянии а размеченный граф состояний изображен на рис. 5.3.

Из графа состояний имеем

где вероятности найдены из соотношений

Таким образом, матрица переходных вероятностей имеет вид

А так как по условию , то, согласно свойству 5.3 матрицы переходных вероятностей, находим

Таким образом, найдены вероятности всех исходов обстрела цепи одной очередью из четырех выстрелов:

цель не повреждена: ;

цель получила незначительные повреждения: ;

цель получила значительные повреждения:

цель поражена: .

Пример 5.4. Цель (самолет) обстреляна из зенитного орудия тремя выстрелами с корректировкой наводки после каждого из них. Цель может находиться в одном из четырех состояний, определенных в примере 5.2, а матрицы переходных вероятностей равны:

Определим вероятности состояний цели после каждого выстрела, если в начальный момент цель находилась в состоянии т.е.

Согласно свойству 5.2, имеем