МАРКОВА ЦЕПЬ

— марковский процесс с дискретным временем и конечным или счетным множеством состояний. Пусть состояния М. ц.; обычно считают, что временной параметр t пробегает неотрицательные целые числа. М. ц. определяется набором вероятностей перехода т. е. вероятностями на шаге перейти из состояния i в состояние Если эти вероятности не зависят от то М. ц. наз. однородной. С помощью М. ц. описывается эволюция любой системы, имеющей конечное или счетное мн-во состояний и изменяющей свои состояния под влиянием независимых случайных импульсов. Пусть состояние системы в момент состояние, в которое переходит система из состояния если в момент на нее воздействует импульс у. Тогда, если последовательность независимых импульсов, то последовательность будет М. ц. с переходной вероятностью случайная величина, принимающая значения слева указана вероятность того, что эта случайная величина равна . Если обозначает вероятность того, что система в начальный момент находится в состоянии то можно вычислить вероятность любого отрезка траектории системы, т. к. траектория системы на отрезке является последовательностью ее значений Зная вероятности перехода которые наз. вероятностями перехода за один шаг, можцо вычислить вероятности перехода за несколько шагов , т. е. вероятность системы в момент попасть в состояние если она в момент находилась в состоянии . Справедлива формула

(суммирование справа производится по всевозможным значениям индекса, указанного под

знаком суммы). При изучении вероятностей перехода удобно располагать их в матрицы

указывает номер строки, а номер столбца, на пересечении которых стоит элемент, указанной в обоих равенствах справа). Матрицы такого вида наз. стохастическими; представляют собой матрицы с неотрицательными элементами, причем сумма элементов по строке равна 1. Произведение стохастических матриц также является стохастической матрицей. Соотношение (1) с помощью матриц записывается так:

Одной из важнейших задач М. ц. является изучение поведения вероятностей при Эта задача рассматривается преимущественно для однородных цепей. В этом случае не зависит от и, следовательно, (справа стоит степень матрицы П). Т. о., задача сводится к изучению поведения степени стохастической матрицы при Наиболее интересным с практической точки зрения является тот случай, когда выполняется эргодическая теорема, т. е. при стремятся к пределу не зависящему от исходного состояния . Для М. ц. с конечным мн-вом состояний для выполнения эргодической теоремы необходимо и достаточно, чтобы при некотором матрица имела хотя бы один столбец, составленный из положительных элементов; в частности, если таковой является матрица П, то эргодическая теорема выполняется (см. Эргодическая теория). Вероятности эргодическими вероятностями, они являются стационарными вероятностями: если то при всех . Стационарные вероятности удовлетворяют уравнению вероятности перехода за один шаг однородной цепи). Это ур-ние с условием в эргодическом случае (если справедлива эргодическая теорема) однозначно определяет эргодические вероятности. См. также Случайных процессов теория.

Лит.: Колмогоров А. Н. Цепи Маркова со счетным числом возможных состояний. «Бюллетень Московского университета», 1937, т. 1, № 3; Сарымсаков Т. А. Основы теории процессов Маркова. М-, 1954 [библиогр. с. 202-205]; Чжуч К. Однородные цепи Маркова. Пер. с англ. М., 1964 [библиогр. с. 406—415]; Феллер В. Введение в теорию вероятностей и ее применения, т. 1. Пер. с англ. М., 1967; Кемен и Дж., Снелл Дж. Конечные цепи Маркова. Пер. с англ. М., 1970.

А. В. Скороход.