1.4. ПРОСТАЯ ЦЕПЬ МАРКОВА

Предположим, что исходом каждого испытания может быть не одно из двух событий А или , а одно событие из полной группы несовместимых событий . Простейший вид вероятностной связи состоит в том, что условная вероятность появления какого-то события при испытании зависит только от того, какое событие появилось при испытании, и не зависит от того, какие события появились при более ранних испытаниях. Такая последовательность событий называется простой цепью Маркова. Если условная вероятность перехода от события к событию обусловлена только этими событиями, но не зависит от номера испытания, то соответствующая простая цепь Маркова называется однородной.

Следующее повышение сложности состоит в учете появления двух или более событий, предшествовавших данному испытанию. Подобным образом можно получить все более сложные цепи Маркова.

Как следует из приведенного определения, для описания простой однородной цепи Маркова необходимо указать условные вероятности появления события после события

Эти вероятности называются переходными; они могут быть расположены в виде таблицы:

Такая таблица называется матрицей переходных вероятностей (или стохастической матрицей). Необходимо задать также априорные вероятности осуществления каждого из событий в дервом испытании. Матрица М переходных вероятностей вместе с вектором априорных вероятностей полностью определяют простую однородную цепь Маркова.

Поскольку при каждом данном испытании появление одного из событий, составляющих полную группу, достоверно, то сумма переходных вероятностей в каждой строке матрицы М равна единице, т. е.

В соответствии с формулой полной вероятности вероятность появления события во втором испытании

или в векторной записи

Общее соотношение между векторами имеет вид

Справедлива теорема, согласно которой для однородной простой цепи Маркова с положительно определенной матрицей М

где — вектор предельных вероятностей появления событий, который не зависит от и является собственным вектором матрицы М, принадлежащим характеристическому числу, равному единице.