§ 5. ВОЗВРАТНОСТЬ

Рассмотрим произвольное, но фиксированное состояние Положим для каждого целого числа

Другими словами, есть вероятность того, что, отправляясь из состояния система впервые возвратится в это состояние через переходов. Ясно, что а можно вычислить рекуррентно в соответствии с формулой

где, согласно определению, для всех Соотношение (5.1) выводится следующим образом. Рассмотрим все возможные реализации процесса, для которых а первое возвращение в состояние происходит на шаге. Обозначим это событие символом События очевидно, являются несовместными. Вероятность события, состоящего в том, что первое возвращение происходит на шаге, есть, согласно определению, Рассмотрим теперь те реализации, которые в течение оставшихся шагов ведут себя так, что Используя марковское свойство, имеем

(напомним, что Следовательно,

поскольку по определению

Введем теперь производящие функции.

Определение. Производящая функция последовательности задается формулой

Аналогично определяется производящая функция последовательности (определение вероятностей , для

случая, когда следует ниже непосредственно за формулой

Мы уже приводили (см. стр. 16 гл. I) следующее свойство производящих функций: если

то

где

Если положить равными , а равными то из (5.1) и (5.6) следует, что

или

В (5.7) единица вычитается потому, что (5.1) не выполняется при

Точно так же, как мы получили соотношение (5.1), приходим к соотношению

где есть вероятность того, что процесс впервые достигнет состояния из состояния на шаге. Как и ранее, полагаем для всех Из (5.9) и (5.5) получаем

Будем называть состояние возвратным, если Это означает, что состояние является возвратным тогда и только тогда, когда вероятность вернуться в исходное состояние после некоторого конечного числа шагов равна единице. Если то состояние будем называть невозвратным. Ниже мы докажем теорему, связывающую свойство возвратности состояния с поведением -шаговых переходных вероятностей Для доказательства этой теоремы нам понадобится следующая

Лемма 5.1 (Абель).

(а) Если ряд сходится, то

(lim означает, что s стремится к 1 слева, т. е. значениям, меньшим 1).

(б) Если , то

Доказательство, (а) Мы покажем, что

Поскольку ряд сходится, то для любого можно найти такое, что для всех Выберем такое Далее,

где так что для достаточно близких к 1, имеем

Для оценки 2 1) просуммируем по частям:

где Легко видеть, что для (5.15) имеет место оценка

Вместе с предыдущей оценкой это дает

при условии, что достаточно близко к 1.

(б) Поскольку 2 2 для случай очевиден. Если то в силу исходного предположения имеем

а значит, и

Кроме того, является монотонно возрастающей функцией

Таким образом, ряд сходится. Пусть сумма ряда равная а. Обращаясь к первой части леммы, получаем, что

С помощью этой леммы легко доказывается

Теорема 5.1. Состояние является возвратным тогда и только тогда, когда

Доказательство. Пусть возвратное состояние, т. е. . В силу леммы 5.1(a) имеем

тогда из (5.8) следует, что

Обращаясь к лемме 5.1(б), заключаем, что

Чтобы доказать достаточность, предположим, что состояние невозвратное, т. е. Используя лемму 5.1(a) и соотношение (5.8), получаем

Отсюда в силу леммы 5.1(б) следует, что

Из теоремы 5.1 непосредственно вытекает

Следствие 5.1. Если возвратное состояние, то состояние также является возвратным.

Доказательство. Так как то существуют такие целые числа что

Пусть положительное целое число. С помощью аргументов, к которым мы уже прибегали (см. стр. 52), нетрудно получить неравенство

Суммирование по дает

Таким образом, если расходится, то расходится и

Доказав это следствие, мы установили, что возвратность, как и периодичность, является свойством класса эквивалентности, т. е. все состояния в классе эквивалентности либо возвратны, либо невозвратны одновременно.