§ 3. МАТРИЦЫ ПЕРЕХОДНЫХ ВЕРОЯТНОСТЕЙ МАРКОВСКОЙ ЦЕПИ

Марковская цепь полностью определяется своей матрицей одношаговых переходных вероятностей и заданием распределения вероятностей состояния процесса в момент времени 0. Анализ марковской цепи связан главным образом с вычислением вероятностей возможных ее реализаций, важнейшей характеристикой которых является матрица вероятностей переходов за шагов обозначает вероятность того, что процесс перейдет из состояния в состояние за переходов, или, в принятых ранее обозначениях,

Заметим, что мы имеем дело только с процессами, однородными во времени, т. е. с процессами, имеющими стационарные переходные вероятности; в противном случае правая часть в (3.1) зависела бы от

Марковское свойство процесса позволяет выразить (3.1) непосредственно через как это видно из следующей теоремы.

Теорема 3.1. Если матрица одношаговых переходных вероятностей марковской цепи, то

для любой фиксированной пары неотрицательных целых чисел , такой, что при этом по определению

В формуле (3.2) нетрудно узнать формулу умножения матриц (см. приложение). Отсюда следует, что другими словами, вероятности можно рассматривать как элементы матрицы степени матрицы

Доказательство. Рассуждения проведем для случая Событие, состоящее в переходе из состояния в состояние за 2 шага, может произойти любым из следующих взаимно исключающих друг друга путей: на первом шаге — переход в некоторое промежуточное состояние затем, на втором шаге, переход из состояния в состояние

Так как процесс марковский, то вероятность второго перехода равна а первого — Воспользовавшись формулой полной вероятности, приходим к (3.2). Рассуждения в общем случае точно такие же.

Если вероятность того, что процесс в начальный момент находится в состоянии равна то вероятность оказаться в состоянии в момент равна

Помимо определения совместных распределений вероятностей процесса для всех моментов времени, что, кстати, обычно является очень трудной задачей, часто интерес представляет выяснение асимптотического поведения вероятностей при Можно ожидать, что влияние начального состояния со временем уменьшается, а, следовательно, стремится при к пределу,

не зависящему от Для того чтобы дать точный анализ асимптотического поведения марковской цепи, мы введем классификацию ее состояний.