§ 3. СУЩЕСТВОВАНИЕ ОБОБЩЕННЫХ СТАЦИОНАРНЫХ РАСПРЕДЕЛЕНИЙ

В случае неприводимого возвратного положительного класса стационарное распределение представляет собой сходящееся

(такое, что положительное решение системы уравнений

Это утверждение доказывается в теореме 1.3 гл. 3. В следующей теореме доказывается, что это свойство является достаточным условием для положительной возвратности.

Теорема 3.1. Предположим, что марковская цепь неприводима. Если система уравнений

имеет решение, у которого

причем не все равны нулю, марковская цепь является возвратной положительной.

Доказательство. Из (3.1) последовательно получаем

Пусть тогда

Перейдем теперь к пределу при Так как

мы можем перейти к пределу в каждом слагаемом (т. е. поменять местами суммирование и переход к пределу); тогда

Но

Следовательно,

Так как согласно условию, существует такое, что то последнее равенство гарантирует, что для некоторого а значит, для всех

Сейчас мы докажем теорему, обратную к только что доказанной, в усиленном варианте, опирающемся на систему неравенств.

Теорема 3.2. Если неприводимая марковская цепь — возвратная положительная и есть решение системы неравенств

то

Доказательство. Так же как и в предыдущем доказательстве, мы имеем

а при

Так как и то при любом

Переходя к пределу при получаем

Так как частичные суммы равномерно ограничены при всех следовательно, имеет место

Согласно теореме 3.1, в случае неприводимой возвратной нулевой марковской цепи система (3.1) не может иметь нетривиального сходящегося решения. Вместе с тем существуют положительные решения, представляющие значительный интерес; о них пойдет речь в следующей теореме.

Теорема 3.3. Если марковская цепь неприводима и возвратна, то положительная последовательность

является решением системы уравнений

(определение дается в формуле

Доказательство. По определению имеем

Поскольку повторный ряд в правой части, все члены которого неотрицательны, сходится, и поэтому порядок суммирования можно изменить, что дает нам

Но

Следовательно, при имеем

так как

При

чем и завершается доказательство теоремы.

Теорема 3.4. Для неприводимой возвратной марковской цепи система

имеет единственное решение.

Доказательство. В силу предыдущей теоремы последовательность является решением системы уравнений (3.3), удовлетворяющим условиям (3.4), Мы докажем нашу теорему, если покажем, что не существует никакого другого решения системы (3.3), которое удовлетворяло бы условиям (3.4).

Пусть последовательность, удовлетворяющая (3.3) и (3.4), тогда

Умножая обе части последнего равенства на и суммируя по получаем

Изменение порядка суммирования правомерно, так как все члены ряда неотрицательны. Повторяя эту процедуру, получаем для любого

Так как рассматриваемая марковская цепь неприводима и возвратна, для каждого существует 1, такое, что Следовательно,

так как . Итак, при всех

Введем в рассмотрение следующие величины:

Очевидно,

Таким образом, мы можем рассматривать величины как элементы матрицы переходных вероятностей некоторой марковской цепи Соответствующие вероятности перехода за два шага задаются формулой

Вероятности перехода за шагов имеют вид

Поэтому

являются переходными вероятностями возвратной марковской цепи. Воспользуемся теперь теоремами об отношениях. В силу теоремы 2.1 имеем

где определена по отношению к цепи обычным образом. Ее значение равно 1, так как возвратная неприводимая марковская цепь. Но в силу теоремы 2.2

Поскольку то тем самым мы показали, что

Единственность доказана.