§ 2. Обобщение результатов § 1 на случай непрерывного пространства состояний

Пусть X — одномерное борелевское множество. В настоящем параграфе мы будем рассматривать марковские процессы для которых образующие процесс случайные величины принимают значения из

В частности, если X является совокщгностыо целых чисел то наш процесс будет цепью Маркова с состояниями, изучавшейся в предыдущем параграфе.

Выбор пространства X, разумеется, не является однозначным, так как вместо X всегда можно взять любое более широкое множество, и тот факт, что в этом случае X будет содержать больше точек, чем это необходимо, не принзсет никакого вреда. Например, если X — вся действительная прямая, но если

то независимо от того, могут ли или нет случайные величины принимать значения, отличные от сохранятся в спле все результаты предыдущего параграфа. Если мы захотим считать рассматриваемый процесс сепарабельным, то, как это указывалось в § 2 гл. II, мы должны будем предположить, что X замкнуто на расширенной бесконечной прямой.

Результаты настоящего параграфа останутся справедливыми, если предположить, что X — подмножество -мерного пространства; лишь малосущественные изменения возникнут и в том наиболее общем случае, когда X — абстрактное пространство (необязательно даже, чтобы на нем была задана какая-либо топология). Однако последний указанный здесь случай связан с некоторыми проблемами теории меры, что изменяет характер доказательств.

Будем считать заданным не сам марковский процесс, а вероятности перехода этого процесса. Именно:

Предположим, что задана функция от определенная для и множеств А, являющихся борелевскими подмножествами множества X, и удовлетворяющая следующим условиям:

а) при фиксированных является беровской функцией от

б) при фиксированных является вероятностной мерой по А.

в) удовлетворяет уравнению Чепмена — Колмогорова:

Функцию удовлетворяющую всем этим условиям, мы будем называть марковской переходной функцией. Удобно считать, что при равно 1, если и в противоположном случае; в дальнейшем мы будем именно так понимать ). Если марковская переходная функция, любое распределение вероятностей на множествах А, то, как мы видели в § 6 гл. И, существует марковский процесс для которого образующие его случайные величины принимают значения из X и для которого с вероятностью 1

(исключительное -множество нулевой меры, разумеется, может зависеть от и .4). Вообще, о любом марковском процессе, для которого с вероятностью 1 выполняются написанные здесь равенства, мы будем говорить, что это процесс с переходной функцией

В случае однородного по времени процесса, когда, по определению, зависит только от мы будем пользоваться обозначением

и называть стационарной марковской переходной функцией. Уравнение Чепмена — Колмогорова принимает в этом случае вид

В дальнейшем всегда, когда не будет явно оговорено протпвное, мы будем подразумевать, что рассматриваемый процесс является однородным. Результаты, которые мы получим, будут включать в себя в качестве частного случая все результаты § 1; выделение случая конечного множества состояний в отдельный параграф имело целью лишь пояснение более общих результатов настоящего параграфа.

Мы будем говорить, что выполнено условие Деблина если существуют конечная мера определенная на борелевских подмножествах множества числа такие, что при Отсюда, так же как и в случае дискретного параметра (см. гл. V, § 5), следует, что

при так что каждому числу соответствует некоторое целое такое, что

при Таким образом, при любом фиксированном функция вероятностей перехода удовлетворяет условию Деблина в смысле § 5 гл. V.

Теорема 2.1. Если стационарная марковская переходная функция удовлетворяет условию то при всех и А существует причем сходимость к пределу является равномерно экспоненциалъно быстрой.

Доказательство этой теоремы аналогично доказательству теоремы 1.1, являющейся ее частным случаем, и мы набросаем здесь кратко лишь начало этого доказательства. Именно покажем, что фигурирующая в условии наибольшее целое число, не превосходящее то играет теперь ту же самую роль, какую играло число состояний системы в случае конечной цепи, рассмотренном в § 1. Действительно, в § 5 гл. V мы видели, что при фиксированном или

существует при всех А, или же вероятности перехода соответствуют цепи с циклическими подклассами состояний, причем в силу условия каждый из таких подклассов должен иметь -меру не меньше

Если длины циклов равны то мы имеем так то Далее, мы показали, что если целое число, делящееся на все скажем то существует при всех 5 и А. Так как произвольно, то существует при всех и дальнейшее доказательство проходит так же, как и в частном случае теоремы 1.1.

В остальной части настоящего параграфа мы будем заниматься вероятностными процессами, для которых почта все их выборочные функции являются ступенчатыми функциями, а также близкими к ним процессами. Соответствующее условие непрерывности, накладываемое на вероятности

перехода, состоит в том, чтобы при всех 5 имело место равенство:

где точечное множество, содержащее единственную точку Среди прочих результатов мы получим результат Дэблина о том, что если (2.1) выполняется равномерно по то почти все выборочные функции сепарабельного процесса будут ступенчатыми функциями. Без дополнительного условия равномерности это утверждение является, вообще говоря, неверным. Если X — конечное множество, то из того, что (2.1) выполнено при всех следует, что оно выполняется равномерно по В предыдущем параграфе мы изучали тот случай, когда X состоит из точек и обозначали через При таком изменении обозначений (2.1) переходит в (1.4).

Используя уравнение Чепмена — Колмогорова, мы находим, что если то

так что

Отсюда следует, что марковская переходная функция при фиксированном определяет функцию от непрерывную равномерно по всем А и всем неотрицательным значениям

В дальнейшем нам будет удобно иметь однозначно определенные условные вероятности вида

где событие задается условиями, наложенными на выборочные функции при Эти условные вероятности определяются следующим образом: используя заданные вероятности перехода, построим марковский процесс со значениями параметра для которого начальное распределение величины сосредоточено в точке С. Вероятность, приписываемая при этом событию определяется однозначно, и под указанной выше условной вероятностью будет всегда подразумеваться именно эта вероятность. Ясно, что такое определение вполне законно, и мы будем использовать его без дальнейших пояснений.

Теорема 2.2. Для любой стационарной марковской переходной функции удовлетворяющей условию непрерывности (2.1), при всех существует предел

Если функция ограничена на множестве А, то условие непрерывности (2.1) выполняется равномерно на А. Если условие (2.1) выполняется равномерно на всем X, то является ограниченной функцией, и стремление к пределу, в (2.2) происходит равномерно по

Если сепарабелъный марковский процесс, для которого является функцией вероятностей перехода, то из того, что вытекает, что с вероятностью 1 в некотором интервале зависит от

Так же, как и в случае теоремы 1.2, являющейся частным случаем настоящей теоремы, будет поучительно доказать нашу теорему при помощи вероятностных рассуждений, хотя существование предела может быть, конечно, доказано без явного использования понятий теории

вероятностей. Итак, предположим, что сепарабельный процесс, фигурирующий во второй половине теоремы. В § 2 гл. II мы видели, что такой процесс всегда существует, если X — замкнутое множество на числовой прямой, пополненной точками . Мы предположим сначала, что на X наложено указанное ограничение; в конце доказательства мы покажем, как от него можно избавиться. Пусть — положительные числа, и пусть наименьшее кратное числа 8, превосходящее или равное а. Поскольку из (2.1) следует очевидным образом (см. § 2 гл. II), что

то мы имеем (см. теорему 2.2 гл. II; эта теорема применима, как легко видеть, к нашему случаю)

Если этот предел положителен, то его логарифм равен

так что мы установили существование предела (2.2), причем

Если предел (2.3) равен 0, то величина в (2.2) становится бесконечной и (2.4) попрежнему выполняется (при очевидном соглашении о смысле выражения Соотношение (2.4) показывает, что

Отсюда следует, что условие непрерывности (2.1) выполняется равномерно по на любом множестве, на котором функция ограничена.

Пусть теперь стремление к пределу в (2.1) происходит равномерно по всем Выберем некоторое и настолько малое чтобы выполнялось неравенство

Если определено равенством

то

Следовательно,

и так как это верно при любом выборе чисел то

При полученное неравенство показывает, что является ограниченной функцией. Далее, неравенство

имеющее место при достаточно малом а, равномерно по показывает, что сходимость в (2.2) равномерна по и даже что

равномерно по (при очевидных соглашениях относительно случая

Если то в соответствии с с вероятностью 1 при (вспомним, что процесс однороден). Если то (2.4) показывает, что функция распределения длины максимального интервала в котором равна

В заключение отметим, что предположение о сепарабельности процесса не требуется для доказательства первой части теоремы. Это интуитивно очевидно, так как утверждения первой части теоремы не связаны с поведением выборочных функций. Однако только что приведенное нами доказательство существенно использует предположение о сепарабельности, так как без этого предположения условная вероятность (2.3) может быть не определена. Существуют два простых способа обойти эту трудность. Один из них состоит в том, чтобы заменить левую часть (2.3) на

Для того чтобы определить эту последнюю условную вероятность, сепарабельность процесса не нужна. Такая замена не влечет за собой никаких изменений в только что приведенном доказательстве [за исключением, конечно, аналогичной замены в соотношении (2.4)]. Второй способ, пригодный для замкнутого множества X (как это было в случае цепи Маркова в § 1 где мы использовали этот способ) состоит в том, чтобы сделать процесс сепарабельным, изменив каждое не более чем на -множестве вероятности (см. § 2 гл. II). Такое изменение процесса не меняет его вероятностей перехода. Если X не замкнуто, то для применения этого второго способа надо заменить множество X его замыканием эта замена не приводят ни к каким трудностям, если положить при при

В дальнейшем мы будем называть любое борелевское подмножество пространства X, на котором функция ограничена, -ограниченным множеством. Так, любое конечное множество, для всех точек которого является -ограниченным множеством.

Теорема 2.3. Пусть стационарная марковская переходная функция, удовлетворяющая условию непрерывности (2.1).

(I) Если множество А не содержит условие непрерывности (2.1) выполняется равномерно на А (в частности, если А является -ограниченным) и то

(II) Если и на множество А и точку наложены те же ограничения, что и 3 утверждении то существуют пределы

и

Если В является -ограниченным множеством, то при каждом В сходимость в (2.6) является равномерной по и функция вполне аддитивна по .

(III) Положим при

Тогда и если при некотором здесь имеет место равенство, то (для этого предел (2.6) существует равномерно по всем борелевским подмножествам А множества и функция вполне аддитивна по А.

(IV) Предположим, что сепарабельный марковский процесс, имеющий своей функцией вероятностей перехода. Если то при с вероятностью 1. Если и если то с вероятностью 1 выборочная функция имеет разрыв при некотором Предположим, что и что является -ограниченным множеством. Тогда отношение равно вероятности того, что если выборочная функция имеет разрыв в конечном или бесконечном интервале то существует первый разрыв, являюгцийся скачком, и существуют положительные числа и некоторая точка (все эти три величины зависят выборочной функции) такиечто при при Если то с вероятностью 1 существует первый после момента разрыв выборочной функции, обладающий указанными в предыдущей фразе свойствами, а описанная там вероятность равна для любого борелевского подмножества А множества

Прежде чем приступить к доказательству утверждений этой теоремы, мы выведем некоторые неравенства, которые потребуются при доказательстве. Пусть В является -ограниченным множеством. Возьмем некоторое к выберем настолько малым, чтобы выполнялись неравенства

Пусть А — борелевское подмножество множества В и пусть точки пространства X такие, что Выберем некоторое и пусть то — наименьшее целое кратное число 8, которое больше или равно а. Тогда

Заметим, что последнее неравенство верно при достаточно малых а также и тогда, когда А — борелевское множество, не обязательно -ограниченное, на котором условие непрерывности (2.1) выполнено равномерно. Кроме того,

Доказательство пункта (I). Если то, положив в (2.8) и получаем

Если то из этих неравенств вытекает при искомое соотношение (2.5).

Доказательство пункта (II). Для случая утверждения этого пункта сразу вытекают из соотношения (2.4). Если то (2.8) и (2.9) переходят при и неравенства

Из этих неравенств вытекает конечность стоящих справа верхних пределов. Далее, из первого неравенства следует, что

откуда вытекает существование предела (2.6). Аналогичным образом из второго неравенства следует существование предела (2.7). Первое неравенство принимает теперь вид

Применив это неравенство к множеству и комбинируя первоначальное и вновь полученное неравенства, находим, что

Следовательно, сходимость в (2.6) является при фиксированном равномерной по Функция множества является, очевидно, аддитивной. Равномерная сходимость, которую мы только что доказали, показывает, что при каждом функция вполне аддитивна для множеств

Доказательство пункта (III). Пусть точка будет фиксирована во всем дальнейшем рассуждении. Мы будем неоднократно пользоваться тем [см. утверждение что является аддитивной функцией на -ограниченных подмножествах множества и является вполне аддитивной функцией на подмножествах фиксированного

-ограниченного множества. По определению величины существует последовательность - ограниченных подмножеств множества такая, что

Заменив, если нужно, на мы можем считать, что Пусть Тогда, если А - ограничено и если то

Далее, если бы было положительным, то отсюда следовало бы, что при достаточно большом

что невозможно. Следовательно, и если и А является -ограниченным множеством, то можно записать в виде

Поэтому для любого борелевского подмножества А множества мы можем, по определению, считать равным этому пределу, не вступая в противоречие с первоначальным определением. Покажем теперь, что при таком определении предельное соотношение (2.6) выполняется равномерно на всех рассматриваемых множествах А. Отсюда будет следовать, что функция (которая является, очевидно, аддитивной) является также вполне аддитивной. Пусть положительное число. Выберем настолько большим, чтобы имело место неравенство

При таком выборе выберем настолько малым, чтобы выполнилось неравенство

и чтобы для всех борелевских подмножеств А множества имело место неравенство

Возможность добиться выполнения второго неравенства следует из пункта (II), так как множество является подмножеством фиксированного -ограниченного множества Тогда при

что и доказывает искомую равномерную сходимость.

Доказательство пункта Первые два утверждения пункта (IV) следуют прямо из равенства (2.4). При доказательстве остальных утверждений мы будем считать, как обычно, Фиксируем точку

Пусть А — борелевское подмножество множества - ограниченное, если Выберем числа и обозначим через множество точек на котором при некотором

Тогда точно так же, как и в § 1,

и все искомые результаты вытекают из этого предельного соотношения (ср. соответствующие рассуждения при доказательстве теоремы 1.3).

Пример 1. Цепи Маркова со счетным числом состояний. В качестве примера приложения доказанных теорем рассмотрим случай, когда X — это множество положительных целых чисел, и положим, как обычно, Условие непрерывности (2.1) переходит тогда в условие

Согласно теореме 2.2, при всех существует предел

Если то в силу теоремы 2.3

С другой стороны, если то пределы

и

конечны, причем Величине соответствует здесь (мы отождествляем В силу пункта (IV) теоремы 2.3, если ; к счетной цепи применима теорема 1.2. Наконец, если условие (2.10) выполняется равномерно по всем то в соответствии с теоремой 2.2 все конечны и последовательность является ограниченной, так что каждое подмножество множества X будет -ограничено. Тогда при всех Следующая теорема показывает, что в этом очень частном случае выборочные функции непрерывны всюду, за исключением отдельных точек, где они имеют скачки (если процесс сепарабелен). Таким образом, теорема 1.3 обобщается на этот случай. Однако мы построим примеры цепей, для которых всех но у которых почти все выборочные

функции имеют разрывы более сложные, чем скачки. Согласно теореме 2.4 в любом таком примере обязательно

Для дальнейшего нам будет полезно определить сейчас смысл утверждения является стандартной парой -функций. Это утверждение означает, что выполнены следующие три условия:

а) Существует одномерное борелевское множество X такое, что определено на определено для и множеств А, являющихся борелевскими подмножествами множества (Борелевское подмножество множества X, на котором функция ограничена, будет называться -ограниченным.)

б) Функция является беровской функцией; функппя является беровской функцией по при фиксированном А и является вполне аддитивной функцией по А при фиксированном Обе функции неотрицательны и принимают конечные значения.

в) Имеет место равенство Заметим, что так как функция принимает конечные - значения, то X является соединением последовательности -ограниченных множеств, так что по -ограниченным множествам

Теорема 2.4. Пусть стационарная марковская переходная функция, удовлетворяющая условию непрерывности (2.1) равномерно по Тогда пара функций определяемая теоремами 2.2 и 2.3, является стандартной парой -функций, и функция ограничена. Если сепарабелъный марковский процесс, вероятности перехода которого задаются функцией то почти все выборочные функции этого процесса являются ступенчатыми функциями.

Обратно, стандартная пара -функций, и функция ограничена, то существует единственная стационарная марковская переходная функция, удовлетворяющая условию непрерывности (2.1), и для которой определяемые теоремами 2.2 и 2.3 функции совпадают с данными функциями. Условие непрерывности (2.1) выполняется в этом случае равномерно по

Если стационарная марковская переходная функция удовлетворяет условию непрерывности (2.1) равномерно по то, как мы видели в теореме 2.2, определяемая этой теоремой функция ограничена. Тогда функция вместе с функцией определенной в теореме 2.3, образует стандартную пару -функций. Доказательство остальных утверждений теоремы 2.4 проводится аналогично доказательству теоремы 1.4 и последующим рассуждениям. Мы, однако, кратко набросаем здесь это доказательство, так как осногные его идеи будут затем обобщены. Пусть сепарабельный процесс, определяемый заданной функцией и некоторым начальным распределением вероятностей. Если и если то если же то, как мы видели, существуют момент первого разрыва выборочной функции, соответствующей элементарному событию и состояние такие, что при Если то мы положим если то положим со; если же то существуют момент и состояние такие, что при Здесь с вероятностью 1

(если обращается в нуль, то в эти соотношения надо внести

очевидныв изменения). Приведенные здесь соображения применимы, даже если предположить только, что стандартная пара -функций; они дают значение (почти всех) выборочных функций процесса для за исключением точек, в которых происходят скачки. Сделанное нами дополнительное предположение об ограниченности позволяет теперь точно так же, как и при доказательстве теоремы 1.4, показать, что с вероятностью 1, откуда следует, что почти все выборочные функции процесса являются ступенчатыми функциями. Обратно, если любая стандартная пара -функций и если - любая случайная величина, принимающая значения из X, то определим так, чтобы все эти величины имели выписанные выше совместные распределения вероятностей, и положим

Это построение определяет при и снова, если, как мы предположили в этой теореме, функция ограничена, то с вероятностью 1, так что вероятностью 1 определено при всех Те же самые простые соображения, которыми мы пользовались в § 1 для случая цепи Маркова, показывают, что процесс имеет требуемую марковскую переходную функцию.

Теорема 2.5 Пусть стандартная пара -функций. Тогда существует по крайней мере одна стационарная марковская переходная функция, удовлетворяющая условию непрерывности (2.1) и связанная с функциями так, как это указано в теоремах 2.2 и 2.3. Имеет место следующая альтернатива, либо существует лишь одна такая переходная функция, и в этом случае почти все выборочные функции сепарабельного марковского процесса с такой переходной функцией являются ступенчатыми функциями; либо существует бесконечно много таких переходных функций, и в этом случае каждой переходной функции соответствует некоторый сепарабельный процесс, для которого вероятность того, что его выборочные функции являются ступенчатыми функциями, меньше 1.

Чтобы доказать эту теорему, предположим, что — стандартная пара -функций, и определим при так же, как при доказательстве обратного утверждения теоремы 2.4. Мы должны пополнить это определение в том случае, когда с положительной вероятностью конечно. Один из способов (впрочем, не единственный) такого пополнения состоит в следующем. Пусть - любое распределение вероятностей на борелевских подмножествах пространства выберем в качестве случайную величину, независимую от величин имеющую распределение и Построим величину распределение вероятностей которой задается соотношением

и положим при Мы продолжим это построение, как и раньше, определяя так, чтобы система совершала переходы в соответствии с распределением а в каждый момент времени, который, подобно моменту является предельной точкой для скачков выборочной функции, определяя так, чтобы процесс начинался вновь из состояния, задаваемого распределением

Элементарные рассуждения с порядковыми числами показывают, что это построение с вероятностью 1 определяет при любом Построенный таким образом пропесс является марковским процессом со стационарной марковской переходной функцией, удовлетворяющей поставленным условиям. Действительно, соображения, использованные в § 1 для случая конечного числа состояний, применимы и в рассматриваемом сейчас более общем случае. Если для любого распределения величины с вероятностью 1 будет то таким путем можно получить только один марковский процесс (с точностью до выбора начального распределения) следовательно, только одну марковскую переходную функцию. В этом, случае почти все выборочные функции любого сепарабельного процесса с этой переходной функцией будут ступенчатыми функциями. С другой, стороны, если при некотором выборе начального распределения

то полученный в конце концов процесс будет зависеть от выбора распределения и при каждом выборе - вероятность того, что выборочная функция окажется ступенчатой, будет равна Тем самым теорема доказана.

Предположим теперь, что стационарная марковская переходная функция, удовлетворяющая условию (2.1), для которой соответствующая пара является стандартной парой -функций. Тогда, точно так же, как и в § 1, мы можем вычислить (для сепарабельного процесса) вероятность того, что еслп то А (где А — некоторое борелевское подмножество пространства X) и что этот переход совершается за скачков, т. е. что выборочная функция имеет в интервале ровно разрывов и что в каждом из открытых интервалов, ограниченных точками разрыва точками выборочная функция тождественно равна постоянной. Используя те же самые соображения, что и в § 1, находим, что

или

Тогда функция определенная равенством

равна вероятности перейти за время из точки в какую-либо из точек множества А с помощью конечного чпсла скачков. В частности, если известно, что почти все выборочные функции являются ступенчатыми функциями (в соответствии с теоремой 2.4 это будет так, если, например, (2.1) выполняется равномерно по то при всех

Однако ясно, что и без этого предположения всегда А); в соответствии с теоремой 2.5 существуют случаи, когда Очевидно, при всех и А тогда только тогда, когда при всех и

Обратно, для любой стандартной пары -функций соотношения (2.11) и (2.12) определяют неотрицательную функцию являющуюся беровской функцией от при фиксированных и А и вполне аддитивной функцией от А при фиксированных а I, удовлетворяющую уравнению Чепмена — Колмогорова и условию Формулы и (2.12) могут быть использованы для Определения марковской переходной функции в терминах заданной стандартной пары -функций в том и только в том случае, когда этим -функциям соответствует сепарабельный процесс, в котором почти все выборочные функции являются ступенчатыми. Это построение приложимо, следовательно, если, например, ограничено, и в этом случае оно является просто аналитической формой вероятностного доказательства обратного утверждения теоремы 2.4. В соответствии с теоремой 2.5 функцию можно, если это необходимо, всегда увеличить так, чтобы она стала марковской переходной функцией; однако если это увеличение действптельяо необходимо, оно может быть сделано бесконечно многими способами, приводящими к различным марковским переходным функциям.

Предположим теперь, что стационарная марковская переходная функция, удовлетворяющая условию непрерывности (2.1), и что соответствующая пара является стандартной парой -функций. Тогда

где

Это уравнение является обобщением уравнения (1.16) и выводится тем же самым способом. А именно, его вывод основан на рассмотрении сепарабельного процесса с заданными вероятностями перехода и использует то обстоятельство, что переход из в какое-либо состояние из А может произойти или если система просто остается в или же если она остается в в течение некоторого времени затем перескакивает в состояние а из переходит в за оставшееся время. Строгое обоснование такого рода рассуждений, применяемых для вывода соотношений типа (2.13), проводится точно так же, как это было сделано в аналогичном случае в § 1. Уравнение (2.13) показывает, что является непрерывной функцией от и имеет нэпрерывную производную, задаваемую равенством

являющимся обобщением равенства (1.7). Естественным дополнзнием уравнения (2.13) является уравнение для которое выводится, исходя из того, что переход из может произойти или если система просто

остается в с в течение времени или же если перед моментом последнего скачка система находится в некотором состоянии затем перескакивает в какое-либо состояние из А и остается в этом состоянии до момента Так как из условий, наложенных нами на вовсе не следует, что существует момент последнего скачка, после которого система не меняет свое состояние, то мы описали только часть способов перейти из в А, так что

Соображения того же самого типа приводят и к несколько более общему неравенству

Разделив обе части этого неравенства на — и переходя к пределу при мы найдем, что если множество А является -ограниченным множеством, то

Последнее неравенство является обобщением равенства (1.7). Заметим, что полученное неравенство перейдет для всех и всех -ограниченных множеств А в равенство, если марковской переходной функции соответствует сепарабельный процесс, для которого почти все выборочные функции являются ступенчатыми; однако можно показать, что это условие не является необходимым.

Интересно отметить, что из вероятностного смысла функции сразу следует, что эта функция, удовлетворяющая неравенству

и обладающая, как мы уже указывали выше, всеми свойствами стационарной марковской переходил! функции, за исключением того, что обязано равняться 1, удовлетворяет обратной системе интегро-дифференциальных уравнений, а также и прямой системе (с точным равенством). То, что удовлетворяет этим системам уравнений, можно вывести также из (2.11) и (2.11), просуммировав указанные равенства по всем При этом мы приходим к соотношениям (2.13) и (2.13) (с заменой в последнем них неравенства равенством) для которые после дифференцирования и приводят к обратной и прямой системам интегро-дифференциалъных уравнений. Таким образом, обратная система имеет бесконечно много решений при одних и же начальных условиях если только не выполнено условие , и среди этих решений имеются решения, которые, подобно не являются стационарными марковскими переходными функциями.

Пример Цепи Маркова со счетным числом состояний (продолжение). В соответствии с нашими результатами, для произвольных последовательностью неотрицательных чисел таких, что при всех (это условие совпадает для данного случая с

ловяем, определяющим стандартную пару -функций), существует соответствующая стационарная марковская переходная матрица удовлетворяющая обратной системе дифференциальных уравнений (1.7) (разумеется, без ограничения Прямая система (1.7) переходит здесь в систему неравенств, получаемых при замене в (1.7) знака знаком . В то же время матричная функция где вероятность перейти из время посредством конечного числа скачков, удовлетворяет как обратной, так и прямой системам дифференциальных уравнений со знаками равенства в них и с теми же самыми начальными условиями

При этом

Следующий очень простой частный случай иллюстрирует эти результаты. Предположим, что

Пусть с вероятностью 1. Построим в соответствии с теоремой 2.5 процесс с этими и с принятым начальным условием. В этом случае разности взаимно независимы, и является положительной случайной величиной с плотностью распределения вероятностей Тогда так что если ни одно из не обращается в нуль и если с вероятностью 1. (Более тщательное исследование частных сумм этого ряда, скажем, при помощи характеристических функций, показывает сразу, что достаточное условие сходимости ряда которое мы только что получили, является также и необходимым, но мы не будем использовать этот факт.) Предположим, что выбраны так, чтобы ряд сходился. Один из простейших способов определить распределение к фигурирующее в теореме 2.5, для нашего случая, т. е. определить распределение величины состоит в том, чтобы положить с вероятностью 1, т. е. предположить, что после любой предельной точки своих скачков выборочная функция принимает значение 1. Конечно, очевидно, что существует бесконечно много различных распределений которые приводят к различным типам выборочных функций и различным вероятностям перехода для результирующего процесса. Обратная система дифференциальных уравнений имеет в этом случае вид

а прямая система дифференциальных неравенств имеет вид

Если применить прямую систему к (тогда неравенства заменятся на равенства), то получится, например, что и, в самом деле, при нашем задании величин невозможен переход из состояния 2 в состояние 1 за конечное число скачков. Однако если и если выбрано так, как указано выше, то такой переход возможен при помощи бесконечного числа скачков. При другом выборе распределения

(например, еслп сконцентрировать это распределение в состоянии 2, а не в состоянии 1) такой переход может оказаться невозможным даже за бесконечное число скачков.

В настоящем параграфе мы исследовали некоторые типы марковских переходных функций, а именно переходные функции, выделяемые условием непрерывности (2.1), методом, позволявшим проследить вероятностный смысл каждого шага наших рассуждений. Однако результаты, не относящиеся явно к поведению выборочных функций, могут быть получены и без ссылок на теорию вероятностей. Пусть, например, произвольная марковская переходная функция, удовлетворяющая условию непрерывности (2.1), и пусть существуют пределы в (2.2) и (2.6), определяющие стандартную пару -функций. Тогда функция должна при любых фиксированных иметь вид

Уравнение (2.14) легко выводится теперь при помощи элементарных операций из уравнения Чепмена — Колмогорова, и вопрос сводится тогда к изучению решений уравнений (2.14) и (2.14) при начальных условиях

Наметим кратко вывод уравнений, обобщающих (2.14) и (2.14) на неоднородный случай. Пусть соответствующая марковская переходная функция. Предположим, что

где

является вполне аддитивной функцией от Тогда

и при некоторых дополнительных условиях, которые мы не будем здесь рассматривать, справедливы соотношения

обобщающие уравнения (2.14) и (2.14). Эти соотношения являются также обобщениями соотношений (1.17) и (1.17) и называются, так же как и их частные случаи (2.14) и (2.14), соответственно обратными и прямыми Уравнениями марковского процесса.