§ 3. ВЕРОЯТНОСТИ ПОГЛОЩЕНИЯ

Ранее мы установили (см. задачу 9 гл. 2), что если состояние невозвратное, то и что если состояния принадлежат одному и тому же непериодическому возвратному классу, то

Если состояния входят в один и тот же возвратный периодический класс, то последнее утверждение сохраняет силу, если заменить в нем на Для того, чтобы завершить рассмотрение предельного поведения вероятностей остается рассмотреть случай, когда состояние невозвратное, а состояние возвратное.

Пусть множество всех невозвратных состояний; введем величины с помощью следующей рекуррентной формулы:

где Заметим, что есть вероятность того, что, отправившись из состояния процесс не выйдет из класса в течение следующих шагов. Покажем с помощью индукции, что последовательность является невозрастающей. Действительно, так как при всех то

Предположим теперь, что при всех тогда

Это означает, что ограниченная последовательность не возрастает и, следовательно, стремится к некоторому пределу причем

Таким образом, если единственным ограниченным решением уравнений (3.1) является нулевой вектор ( то, отправляясь из любого невозвратного состояния, процесс с вероятностью 1 будет поглощен некоторым классом возвратных состояний. В самом деле, есть вероятность никогда не попасть в возвратный класс, если было начальным состоянием процесса. Поскольку является ограниченным решением уравнений (3.1), то при всех и

Замечание 3.1. Если марковская цепь имеет лишь конечное число состояний, скажем то среди них нет возвратных нулевых

состояний, а все состояния не могут быть невозвратными. Действительно, так как для всех то не для всех По этой же причине отсутствуют нулевые возвратные состояния. Пусть возвратные классы. Определим как вероятность того, что, отправляясь из невозвратного состояния процесс рано или поздно войдет в класс С. (Вспомним, что, однажды попав в возвратный класс, процесс уже никогда его не покидает.)

Пусть есть вероятность того, что процесс достигнет класса С и, следовательно, будет им поглощен, впервые на шаге, при условии, что начальным состоянием было тогда

Используя (3.3), (3.2) можно переписать в виде

Если предположить, что единственным ограниченным решением однородной системы уравнений

является тривиальное решение (нулевой вектор), то является единственным ограниченным решением системы уравнений (3.4). Более того, либо для некоторого либо для всех следовательно, для всех

Теорема 3.1. Пусть (С — непериодический возвратный класс), тогда для имеем

Доказательство. Легко видеть, что где есть вероятность того, что, отправляясь из состояния процесс на шаге войдет в класс С через состояние Имеем

Следовательно, для любого существуют конечное число состояний и целое число такие, что

для всех (Здесь мы пишем вместо

Для рассмотрим разность

С помощью знакомых нам рассуждений получаем

Опираясь на эти соотношения, получаем неравенство

Но если С — непериодический класс и Поэтому существует такое что при имеем так что при выполняется неравенство

Однако выбор гарантирует нам, что правая часть последнего неравенства не больше, чем Отсюда, воспользовавшись (3.5), получаем

и, следовательно,

Если С — периодический класс то точно так же можно показать, что

В заключение заметим, что если невозвратное состояние, а возвратное, то предельное значение вероятности зависит от обоих состояний . В этом состоит существенное отличие от случая, когда принадлежат одному и тому же возвратному классу.

Пример. (Задача о разорении игрока, играющего с партнером, капитал которого ограничен.)

Как мы видели, марковская цепь, описывающая игру, имеет конечное число состояний, скажем а ее матрица переходных вероятностей имеет вид

Мы найдем вероятности, отправляясь из состояния рано или поздно попасть в поглощающие (и, следовательно, возвратные) состояния соответственно. Система уравнений (3.4) для рассматриваемой задачи имеет вид

Система состоит из неоднородных уравнений с неизвестными. Будем искать решение в виде Подставляя это выражение в средние из уравнений (3.6), получаем

Последнее уравнение имеет два решения, и Таким образом, величины удовлетворяют средним уравнениям из (3.6) при любых значениях Определим так, чтобы первое и последнее уравнения также удовлетворялись. (Если , то решение является двукратным корнем уравнения в этом случае следует заменить на Подставляя соответствующие выражения в первое уравнение, получаем

или, упрощая,

Последнее уравнение дает

Отсюда

и

Если то точно так же находим, что так что

Аналогичные выкладки показывают, что

чего и следовало ожидать, поскольку поглощение одним из классов или есть событие достоверное.

Рассмотрим теперь игру с бесконечно богатым партнером. Уравнения для вероятности разорения игрока (поглощение состоянием 0) имеют вид

Так же как и раньше, находим, что

Если то из условия ограниченности следует, что а из первого из уравнений (3.7) следует, что Если то мы находим, что для чего нужно лишь перейти к пределу при в решении предыдущей задачи — задачи о разорении с конечным числом состояний.