§ 5. РЕГУЛЯРНЫЕ, СУПЕРРЕГУЛЯРНЫЕ И СУБРЕГУЛЯРНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ МАРКОВСКИХ ЦЕПЕЙ

Мы уже познакомились с несколькими критериями для определения возвратности, невозвратности и положительной возвратности марковской цепи (см. теоремы 4.1-4.2 гл. 3) и применили их при изучении некоторых моделей из теории очередей. Условия этих критериев связаны с характером решений системы уравнений

либо системы уравнений

Современный подход к этой проблеме состоит в применении теории регулярных, суперрегулярных и субрегулярных последовательностей. Мы остановимся на наиболее простых аспектах этой элегантной теории, которая основывается на теории потенциала марковских матричных операторов. Классическая теория потенциала привлекается при рассмотрении этих же идей в исследовании броуновского движения. Такое взаимопроникновение теории потенциала и теории вероятностей чрезвычайно плодотворно и в последнее время привлекло внимание исследователей,

Пусть заданная матрица переходных вероятностей. Будем говорить, что неотрицательный вектор (неотрицательная последовательность) является по отношению к

Правую суперрегулярную последовательность будем называть минимальной, если из условия где -регулярная последовательность, следует, что при некоторой константе с. Неотрицательный вектор о будем называть

Теорема 5.1. Пусть и есть -суперрегулярный вектор по от ношению к Тогда предел

существует для веек и вектор а является -регулярным вектором по отношению к Более того, если есть -регулярный вектор по отношению к при всех то для всех и Если мы представим компоненты вектора и в виде

где

то образуют минимальный -суперрегулярный вектору

Доказательство. По определению -суперрегулярного вектора имеем

В векторно-матричных обозначениях мы можем записать это соотношение в виде подразумевая под этим покомпо нентные неравенства.

Итак, для каждого

Поскольку все члены этой цепочки неравенств неотрицательны, то существует и при всех Далее,

В пределе при выражение в правой части сходится к тогда как левая часть, если формально перейти к пределу под знаком суммы, стремится к т. е.

Для доказательства правомерности предельного перехода под знаком суммы зафиксируем некоторое значение индекса Для любого существует такое, что

тогда

Далее, воспользуемся представлением

Как мы уже видели, при левая часть стремится к Так как первый член в правой части является конечной суммой по то его предел есть просто

Величина второго члена не превышает Итак, имеем

откуда следует, что является -регулярным вектором по отношению к

Предположим, наконец, что

Тогда с помощью индукции получаем

Следовательно,

Не составляет никакого труда проверить, что последовательность является -суперрегулярной. Остается только установить минимальность последовательности Предположим, что

где есть -регулярная последовательность. Применяя раз к обеим частям (5.3), получаем

Но из определения вектора с следует, что а стремится к нулевому вектору. Этим завершается доказательство минимальности вектора с.

Представление (5.2) в случае броуновского движения является не чем иным, как классическим представлением Рисса, связанным с гармоническими, супергармоническими и потенциальными функциями. Изложение этой элегантной теории выходит за рамки нашей книги.

Для невозвратных марковских цепей очень легко построить -суперрегулярные последовательности. Напомним, что в невозвратном случае при всех Мы утверждаем, что при фиксированном

является -суперрегулярной последовательностью. Действительно,

Приведенное построение позволяет сделать вывод о том, что существует достаточно обширное множество непостоянных

положительных -суперрегулярных векторов. То, что последовательности вида (5.4) не являются постоянными, следует из соотношения (5.5), которое при является строгим неравенством. Совершенно иная картина имеет место в возвратном случае. Следующая теорема утверждает, что единственной -суперрегулярной последовательностью является постоянный вектор. Она обобщает критерий, полученный в теореме 4.1 гл. 3.

Теорема 5.2. Неприводимая марковская цепь с матрицей переходных вероятностей возвратна тогда и только тогда, когда всякий неотрицательный вектор -суперрегулярный по отношению к у которого хотя бы одна компонента положительна, является постоянным.

Доказательство. Пусть марковская цепь возвратна. Рассмотрим систему неравенств

Мы покажем сначала, что если для некоторого то при всех . В самом деле, для любых заданных существует такое что Тогда, как и в предыдущей теореме, имеем

Таким образом, если и , то при всех Пусть теперь произвольно, но фиксировано и положим Тогда

Итерируя это неравенство, получаем

где последние два члена по ранее данному определению являются вероятностями первого достижения. Опять подставляя (5.6) в полученное неравенство, получаем

Продолжая таким же образом, приходим к неравенству

справедливому при любом Отсюда следует, что

так как цепь возвратна и неприводима.

Таким образом, или Но произвольны, значит, при всех

Докажем теперь достаточность. Пусть марковская цепь невозвратна. Положим

где произвольно, но фиксировано. (Напомним, что есть вероятность попасть в состояние за конечное число шагов, исходя из состояния Отсюда следует

и

Таким образом, вектор и является -суперрегулярным. Но если при то

что противоречит предположению о невозвратности цепи. Следовательно, и — непостоянный ограниченный -суперрегулярный вектор.

С помощью теоремы 5.2 легко доказать усиленный вариант теоремы 3.4, допускающий неравенства.

Теорема 5.3. Для возвратной неприводимой марковской цепи система

имеет единственное решение.

Метод, принятый в доказательстве теоремы 3.4, состоит в переходе к обратному процессу, что позволяет свести рассмотрение -суперрегулярных векторных последовательностей к рассмотрению -суперрегулярных числовых последовательностей. Этот прием сведения задач о левых регулярных объектах к задачам о правых регулярных объектах с помощью обратного процесса является довольно распространенным и продуктивным.

Доказательство. Как мы уже видели, является решением системы (5.7). Действительно, эта последовательность удовлетворяет условиям если в них заменить знак знаком равенства, и, кроме того, при всех Полагая

мы получаем некоторую матрицу переходных вероятностей поскольку и

К тому же, как и в теореме 3.4,

и неприводимость матрицы следует из неприводимости матрицы Далее, если

и

то

т. е. вектор является -суперрегулярным по отношению к матрице Но в силу предыдущей теоремы должен быть постоянным вектором. Так как то

Теорема доказана.

ЗАДАЧИ

(см. скан)

(см. скан)

(см. скан)

(см. скан)

ЗАМЕЧАНИЯ

Материал этой главы почерпнут в основном из книги Чжун Кайлая [1].

Наше изложение представляет собой лишь введение в эту важную и развивающуюся область теории вероятностей.

Готовящаяся к изданию книга Кемени и Снелла [2] содержит подробное изложение теории потенциалов для марковских цепей.

ЛИТЕРАТУРА

(см. скан)