§ 2. ПРИМЕРЫ МАРКОВСКИХ ЦЕПЕЙ

Большое число физических, биологических и экономических явлений описываются марковскими цепями. Ниже приводится несколько примеров.

А. Пространственно однородные марковские цепи

Пусть дискретная с. в. принимает неотрицательные целочисленные значения, причем Пусть представляют результаты независимых наблюдений с. в.

Мы опишем две различные марковские цепи, связанные с после довательностью . В обоих случаях пространство состояний совпадает с множеством неотрицательных целых чисел.

(I) Определим процесс положив (начальное значение задано). Матрица переходных вероятностей этого процесса имеет вид

Тот факт, что у матрицы все строки одинаковы, означает, что с. в. не зависит от с. в.

(II) Другой важный класс марковских цепей возникает при рассмотрении последовательных частичных сумм т. е.

Считаем по определению, что Процесс как нетрудно видеть, является марковским. Легко найти его матрицу переходных вероятностей; именно:

Здесь мы, очевидно, воспользовались независимостью В данном случае матрица имеет вид

Если с. в. может принимать как положительные, так и отрицательные целочисленные значения, то возможные значения для каждого содержатся в множестве всех целых чисел. В данном

случае пространство состояний удобнее отождествить со всеми целыми числами (а не преобразовывать в множество неотрицательных чисел), так как тогда матрица переходных вероятностей имеет более симметричную форму

где .