§ 4. КРИТЕРИИ ВОЗВРАТНОСТИ

Мы докажем две теоремы, которые окажутся полезными при определении возвратности или невозвратности марковских цепей, а затем применим их к нескольким примерам.

Теорема 4.1. Пусть неприводимая марковская цепь, состояния которой отождествлены с неотрицательными целыми числами. Для того чтобы цепь была невозвратна, необходимо и достаточно, чтобы система уравнений

имела ограниченное решение, отличное от Доказательство. Пусть

— матрица переходных вероятностей цепи Сопоставим ей матрицу переходных вероятностей

которая обращает нулевое состояние в поглощающий экран, оставляя вероятности переходов между другими состояниями без изменения. Обозначим марковскую цепь, матрица переходных вероятностей которой имеет вид (4.2), символом

Для доказательства необходимости предположим, что процесс невозвратный, а затем покажем, что в этом случае система (4.1) имеет ограниченное решение, отличное от константы.

Пусть есть вероятность рано или поздно попасть в состояние 0, выйдя из состояния Поскольку процесс невозвратен, то для некоторого так как в противном случае состояние было бы возвратным. (Докажите это! Напомним, что состояния неприводимой марковской цепь либо все одновременно

возвратны, либо невозвратны.) Для процесса очевидно, имеем для некоторого Для всех Следовательно, для таким образом, есть искомое ограниченное решение, отличное от константы.

Предположим теперь, что система (4.1) имеет ограниченное отличное константы решение Поскольку постоянный вектор является решением системы (4.1), то также есть решение этой системы, которое при подходящем выборе а и будет удовлетворять условиям . Поэтому можно предположить, что в таком случае для всех значит, для всех имеем

Поскольку цепь неприводима, для любого и некоторого поэтому каждое из состояний должно быть невозвратным в цепи так что для и по теореме 3.1 имеем где вероятность (относительно отправившись из состояния быть поглощенным состоянием 0. Следовательно, так как при всех выполняется неравенство

то, устремляя мы приходим к неравенству Возможны два случая: либо существует такое , что либо такое, что . В первом случае откуда следует, что цепь невозвратна, так как состояние достижимо из состояния 0 по предположению, в то время как вероятность возвращения меньше, чем 1. Во втором случае эти же рассуждения следует применить к решению системы (4.1), что даст неравенство откуда опять же следует, что цепь невозвратна.

Теорема 4.2. Для того чтобы неприводимая марковская цепь была возвратной, достаточно, чтобы существовала последовательность такая, что

Доказательство. Используя обозначения предыдущей теоремы, имеем

Поскольку удовлетворяет неравенствам (4.3), мы можем предположить, что для всех Из предыдущего неравенства получаем

Пусть задано Мы можем выбрать такое что для Далее, имеем

откуда

и поскольку

то

Как было отмечено в доказательстве предыдущей теоремы,

Переходя к пределу при получаем для каждого фиксированного

или

где

Поскольку произвольно, а то для каждого что и означает возвратность исходной марковской цепи.