Приложение П5. ЦЕПИ МАРКОВА С ПРОСТРАНСТВЕННЫМИ МАТРИЦАМИ ВЕРОЯТНОСТЕЙ ПЕРЕХОДОВ

Анализ многосвязных цепей Маркова в настоящее время производится по методике В. И. Романовского путем перехода к эквивалентной простой цепи с состояниями, где L — число состояний исходной цепи и т — ее связность [51]. Рассмотрим метод анализа подобных цепей на основе пространственных матриц [56].

Начнем изложение на примере двухсвязной цепи Маркова Тогда есть вероятность перехода на шаге в состояние а, если на шаге система находилась в состоянии а на — в состоянии

Пусть имеется всего два состояния Тогда имеем восемь вероятностей перехода Геометрически указанные восемь вероятностей можно представить в виде пространственной матрицы (см. рис. ). Метод Романовского привод бы к матрице размером 8X8. Если имеется три состояния то имеем уже двадцать семь вероятностей, которые в виде пространственной матрицы представлены на рис.

Метод Романовского привел бы к матрице размером 27X27.

Матрицу на рис. П5.1 можно представить в виде двух граней:

Каждая грань отражает зависимость перехода от шага.

Матрица вероятностей переходов, представленная на рис. может быть представлена в виде трех граней, каждая из которых является стохастической матрицей размером т. е.

Матрицу вероятностей переходов с геометрически представить невозможно: ее можно представить в виде таблицы. При имеем вероятностей, которые можно представить в виде

Рис. П.1. Кубическая матрица цепи с двумя состояниями

Рис. П.2. Кубическая матрица цепи с тремя состояниями

Метод Романовского привел бы к матрице размером 16X16.

Определим единичную пространственную матрицу (П5.1) как соответственно для матриц (П5.1) и (П5.2)):

Для получения вероятностей перехода за несколько щагов необходимо ввести произведение пространственных матриц. Учитывая, что и применяя формулу полной вероятности, получим следующее

определение произведения пространственных матриц (для ):

или

Для определения и (П 1.6) имеют соответственно вид

или

Заметим, что определения корректны (произведения могут быть выполнены) только тогда, когда т. е. число граней равно числу строк и столбцов.

Нетрудно проверить, что определения приводят к матрицам, являющимся стохастическими, т. е. сумма вероятностей всех строк всех граней равна единице. Например, [см. (П5.1), (П5.5) и (П5.6)], имеем:

Для простых цепей Маркова, описываемых обычными (плоскими) матрицами, справедливы прямое и обратное уравнения Колмогорова и уравнение Чепмен-Колмогорова [29]:

Рассмотрим, какому уравнению подчиняются пространственные матрицы с произведением, определенным из формулы полной вероятности.

Формула (П5.6) (ее левая часть) показывает, что переходная вероятность за два шага может быть представлена в виде

Для получения вероятности перехода за три шага формула примет вид

Матричный вариант имеет вид

Вариант несправедлив, так как выражение (П5.12) приняло бы вид

что невозможно.

Аналогично доказывается, что и т. д. Таким образом, можно сделать вывод, что многосвязные цепи Маркова, имеющие модели в виде пространственных матриц, подчиняются только обратному уравнению Колмогорова, т. е.

Уравнение (П5.14) является основным уравнением многосвязных цепей Маркова, позволяющим рассчитывать вероятности перехода за любое число шагов

Классифицируем многосвязные цепи Маркова. Многосвязная цепь Маркова называется поглощающей, если ее матрица вероятностей переходов имеет вид соответственно:

Многосвязная цепь Маркова называется регулярной, если ее матрица при некотором к не будет иметь нулевых элементов. В частности, регулярной будет цепь с матрицей переходных вероятностей вида

Учитывая определения получим произведение Пусть Р является регулярной цепью Маркова и имеет вид . Тогда равно

т. е.

Переставляя местами сомножители, получим

т. е.

Для поглощающих цепей Маркова равенства представимы в виде

Для поглощающих цепей Маркова представим в виде

т. е.

т. е.

Равенства (П5.17) - (П5.24) справедливы для любых . Таким образом, приходим к следующему выводу: для многосвязных цепей Маркова существует только правая единица.

Заметим, что если соответствующие элементы в разных гранях равны (есть статистическая зависимость только от прошлого шага), то, пространственные матрицы «вырождаются» в плоские.