Глава 3. ОСНОВНЫЕ ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ДЛЯ МАРКОВСКИХ ЦЕПЕЙ И ИХ ПРИЛОЖЕНИЯ

§ 1. ДИСКРЕТНОЕ УРАВНЕНИЕ ВОССТАНОВЛЕНИЯ

Ключевым в анализе марковских цепей является результат, формулируемый в следующей теореме:

Теорема 1.1. Пусть числовые последовательности с индексом принимающим значения Предположим,, что и что наибольший общий делитель индексов для которых равен 1. Если уравнение восстановления

имеет своим решением ограниченную последовательность действительных чисел, то пределы существуют. Более того, если

В случае, предельное соотношение остается справедливым, положить

Доказательство этой теоремы в том общем виде, в каком она сформулирована выше, выходит за рамки этой книги. Нам понадобится ее частный случай для последовательностей обращающихся в нуль при отрицательных значениях Доказательство теоремы для этого случая мы дадим в § 2.

Замечание 1.1. В случае, когда для уравнение восстановления принимает вид

Замечание 1.2. (Довод в пользу названия «уравнение восстановления».)

Пусть «время жизни» электрической лампочки представляет собой случайную величину и измеряется в дискретных единицах, причем

Как только лампочка перегорает, ее сразу же заменяют новой.

Пусть первая лампочка перегорает в момент вторая — в момент в момент взаимно независимые, одинаково распределенные случайные величины (распределение каждой из них совпадает с распределением с. в. Пусть обозначает среднее число замен, произведенных к моменту Если первая замена имела место в момент то среднее число замен в оставшееся до момента время есть Суммируя по всем возможным значениям получаем

где

Обоснование соотношения (1.2) таково. Величина представляет собой среднее число замен за время при условии, что первая лампочка перегорела в момент вероятность этого события равна Вторая сумма есть вероятность того, что первая лампочка будет служить более чем единиц времени. Учитывая повторяющийся характер процесса, мы получаем выражение для с помощью разложения возможных реализаций по моменту первой замены.

Следующая теорема, так называемая «эргодическая» теорема для данного частного случая, описывает предельное поведение вероятностей при для всех для непериодической возвратной марковской цепи.

Теорема 1.2. (Основная предельная теорема для марковских цепей.)

(а) Рассмотрим возвратную неприводимую непериодическую марковскую цепь. Пусть есть вероятность оказаться в состоянии на шаге, при условии, что (т. е. состояние начальное). Пусть, ранее, Пусть есть вероятность впервые возвратиться в состояние на шаге, причем По доказанному ранее [см. формулу (5.1) гл. 2], имеем

В этом случае справедливо равенство

(б) При этих же условиях

Доказательство, (а) Положим

Воспользовавшись теперь теоремой 1.1, получаем доказываемый результат.

(б) Пусть

где

Докажем, что при этих условиях . В самом деле, имеем

Для любого заданного существует такое, что для всех Следовательно,

откуда

где

Выберем теперь такое, что и

мы видим, что

Воспользуемся теперь ранее доказанным нами соотношением (см. формулу (5.9) гл. 2)

Полагая

получаем доказываемый результат.

Замечание 1.3. Пусть С — возвратный класс. Тогда при для всех Следовательно, попав в С, выйти из него невозможно. Таким образом, подматрица является матрицей переходных вероятностей, а соответствующая марковская цепь неприводима и возвратна. Это означает, что предельная теорема справедлива дословно для любого непериодического возвратного класса.

Замечание 1.4. Если при то, как легко показать, выполняется равенство

Значит, если состояние входит в возвратный непериодический класс, то

где среднее время возвращения.

Если состояние входит в возвратный периодический класс, то, как можно показать (см. задачу 7 гл. 2), если не кратно периоду (т. е. если для какого-либо ), и

Эти два последних результата вместе с (1.3) показывают, что соотношение (1.4) справедливо и для периодического случая.

Если для некоторого состояния из непериодического возвратного класса, то для всех из этого класса. (Доказательство этого факта аналогично доказательству следствия 5.1, и мы его опускаем.) В этом случае мы называем класс возвратным положительным, или сильно эргодическим. Если все и класс возвратный, то будем говорить, что класс возвратный нулевой, или слабо эргодический.

Теорема 1.3. Для непериодического возвратного положительного класса с состояниями

и величины однозначно определяются условиями

Набор удовлетворяющий условиям (1.5), называется стационарным распределением марковской цепи. Подробнее об этом речь пойдет в гл. 5.

Доказательство. Для любых и

Устремляя и используя теорему 1.2, получаем

для любого откуда Далее, при это дает Поскольку левая часть этого неравенства не зависит от при получаем

Умножая обе части (1.6) на и суммируя по получаем неравенство Точно так же убеждаемся, что это неравенство справедливо для любого Предположим, что для некоторого имеет место строгое неравенство. Суммируя по имеем

таким образом, для всех Поскольку ряд сходится, равномерно ограничены, при

В силу того что класс возвратный положительный, имеем и поэтому

Предположим теперь, что последовательность удовлетворяет соотношениям (1.5), тогда

откуда, устремляя получаем

Пример. Рассмотрим класс процессов случайного блуждания, матрицы переходных вероятностей которых имеют вид

(см. пример Б гл. 2).

Мы исследуем существование стационарного распределения, т. е. найдем положительное решение уравнений

при условии «нормировки»

где а значит, Уравнение (1.7) при позволяет выразить через при выразить через и т. д. Легко проверить, что

удовлетворяют (1.7), причем еще надлежит определить. Используя условие нормировки, получаем

или

Таким образом, тогда и только тогда, когда

В частности, если при ряд

сходится, только когда