Глава VI. МАРКОВСКИЕ ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ПАРАМЕТРОМ

§ 1. Цепи Маркова с конечным числом состояний

В настоящем параграфе мы будем существенно опираться на результаты и § 2 гл. V, где изучался случай дискретного параметра. Пусть марковский процесс с конечным числом состояний, занумерованных числами т. е. процесс, для которого

(в большинстве приложений случайные величины, образующие процесс, вообще не принимают других значений, кроме чисел это чуть более сильное требование не вносит существенных изменений в теорию таких процессов). Если то мы определим равенством

Обозначим через матрицу Тогда при

и

[суммирование в (1.2) производится лишь по тем значениям для которых определено В матричных обозначениях предыдущее соотношение, являющееся частным случаем уравнения Чепмена — Колмогорова, принимает вид

Удобно определить как единичную матрицу; в дальнейшем мы будем постоянно пользоваться этим определением. Уравнения Чепмена — Колмогорова (1.2) будут тогда выполнены при . О вероятностном процессе говорят, что он имеет стационарные вероятности перехода, если при всех таких, что вероятности перехода вависят только от Сам процесс называют в этом случае однородным. Для таких процессов мы будем вместо писать соотношения (1.1) и (1.2) в этом случае принимают вид

и

В матричных обозначениях предыдущее соотношение записывается в виде

Матрица является, по определению, единичной матрицей.

Матричную функцию удовлетворяющую соотношениям (1.1) и (1.2), мы будем называть марковской переходной матричной функцией (для того чтобы избежать ненужных осложнений, мы будем предполагать, что каждый элемент этой матричной функции определен при всех значениях аргумента). Матричная функция удовлетворяющая соотношениям (1.1) и (1.2), будет называться стационарной марковской переходной матричной функцией. Любой марковской переходной матричной функции соответствует марковский процесс

возникающий, если выбрать каким-либо образом начальные вероятности и положить, по определению, для каждого конечного -множества

(см. гл. II). Заданные таким образом вероятности определяют процесс являющийся цепью Маркова с данными начальными и переходными вероятностями. За основное -пространство можно взять здесь пространство всех функций от принимающих только целые значения или же пространство всех функций от принимающих любые действительные значения.

Теорема 1.1. Для любой стационарной марковской переходной матричной функции при всех существует причем приближение к пределу происходит экспоненциально быстро.

Заметим, что этот результат проще, чем соответствующий результат в случае дискретного параметра, так как здесь рассматриваются обычные пределы, а не пределы в смысле Чезаро. Отметим также, что мы не делаем никаких предположений о непрерывности и даже об измеримости. Для доказательства теоремы мы сперва фиксируем и покажем, что предел

существует при всех Затем мы покажем, что матрица не зависит от после чего рассмотрим предельное поведение при произвольном стремлении к бесконечности. Мы видели в § 2 гл. V, что или предел существует при всех (когда стохастическая матрица задает цепь Маркова без циклических подклассов), или же при некотором выборе целого числа предел существует для всех Здесь — любое целое число, делящееся на каждое из чисел где - длины циклов, определенные в § 2 гл. V; при этом так что мы можем всегда положить Поскольку число произвольно, то мы приходим к соотношению (1.3), положив Очевидно,

Предположим теперь, что Тогда

так что при Таким образом, матрица не зависит от т. е. соотношение (1.3) принимает вид

для всех При этом и матрица обладает всеми свойствами предельной матрицы, описанными в § 2 гл. V: существуют (эргодические) классы состояний и класс несущественных состояний такие, что

где

Точно так же, как и в случае дискретного параметра, описанном в § 2 гл. V, сумма является при каждом монотонно убывающей функцией от Если принимая только целые значения, то мы имеем случай дискретного параметра, относительно которого мы знаем, что рассматриваемая сумма экспоненциально быстро приближается к нулю. Следовательно, то же самое верно и если принимая все действительные значения, так что

Для того чтобы исследовать поведение при определим величины равенствами

Тогда точно так же, как и в случае дискретного параметра [см. § 2 гл. I, случая б)], функции будут монотонно неубывающими, а функции монотонно извозрастающими. Если стремится к бесконечности, принимая лишь целые значения, то мы имеем снова случаи дискретного параметра, в котором, как мы знаем, эти функции экспоненциально быстро приближаются к пределам следовательно, то же самое будет верно и если просто Тем самым мы доказали, что

причем сходимость к пределу является экспоненциально быстрой. Наконец,

так что при первая из этих сумм экспоненциально быстро стремится к пределу (при фиксированном в то время как вторая не превосходит суммы которая (экспоненциально) мала при больших Следовательно, при существует предел и стремление к пределу является экспоненциально быстрым. Этим заканчивается

доказательство теоремы. Как и в случае дискретного параметра, строки предельной матрицы образуют стационарные распределения вероятностей, и каждое стационарное распределение вероятностей является линейной комбинацией этих строк.

Приступим теперь к изучению выборочных функций однородной цепи Маркова с заданной матрицей вероятностей перехода Мы будем всегда предполагать, что функция непрерывна при т. е. что

(Учитывая мы видим, что вторая строка этого равенства следует из первой.] Из предположения о непрерывности функций вытекает их непрерывность при всех В самом деле,

Так как

то условие (1.4) эквивалентно требованию, чтобы вероятность

стремилась к при для любого начального распределения вероятностей и для всех Иначе говоря, (1.4) верно тогда и только тогда, когда

при любом начальном распределении вероятностей. Как показывает приведенная ниже теорема 1.2, предел по вероятности можно заменить здесь пределом с вероятностью 1.

Если выполнено (1.4), то при малых имеет место неравенство . Следовательно, поскольку

то при всех Далее, если то или не равно нулю при всех или обращается в нуль тождественным образом. Действительно, фиксируем предположим, что некотором которое также будет считаться фиксированным в дальнейшем рассуждении. Докажем, что тогда при всех Так как

и так как второй множитель справа всегда положителен, то достаточно доказать, что при некотором Но при каждом положительном целом выполняется неравенство т. е., на языке § 2 гл. V, состояние является последующим порядка за

состоянием для стохастической матрицы В § 2 гл. V было доказано, что тогда является последующим за состоянием некоторого порядка, так что Если то за искомое значение и можно взять

Тот факт, что если верно (1.4), то вероятность не обращается нуль при если только эта вероятность не равна нулю тождественно, показывает, что стохастическая матрица (при фиксированном соответствует цепи безциклических подклассов. Этот факт был уже обнаружен нами при доказательстве теоремы 1.1 [причем даже без предположений (1.4)].

Допустим теперь, что функции имеют производные при всех и положим

Обозначим через матрицу где мы считаем Используя находим, что

Дифференцируя уравнение Чепмена-Колмогорова (1.2) по каждой из переменных и полагая эту переменную равной нулю, получаем две системы дифференциальных уравнений:

Первую из них мы будем называть обратной системой дифференциальных уравнений цепи Маркова, а вторую — прямой; соображения, оправдывающие эту терминологию, будут приведены ниже. Начальные условия для обеих систем задаются равенствами

Величины определяют вероятности перехода одновначно. Мы рассмотрим этот вопрос с двух точек зрения. Во-первых, мы покажем, что если матрица удовлетворяет условию (1.6), то системы уравнений (1.7) и (1.7) при начальных условиях (1.8) имеют единственное решение, удовлетворяющее условиям (1.1) и (1.2). Во-вторых, мы построим, исходя из заданной матрицы удовлетворяющей соотношениям (1.6), вероятностный процесс, являющийся цепью Маркова с вероятностями перехода, удовлетворяющими уравнениям (1.7), (1.7) и (1.8).

Рассмотрим сначала систему уравнений (1.7). Эту систему дифференциальных уравнений удобнее всего изучать в матричной форме:

с начальным условием

- единичная матрица. Решение [как системы (1.7), так и систем можно записать в таком случае в виде

где экспоненциальная функция от матрицы определяется (поэлементно) тем же степенным рядом, что и обычная (числовая) экспоненциальная функция. Ясно, что для любой матрицы определенная таким образом функция представляет собой решение уравнения (1.7), удовлетворяющее начальным условиям (1.8) и уравнению Чепмена — Колмогорова (1.2). Если удовлетворяет условиям (1.6), то решение является вероятностным решением в том смысле, что оно удовлетворяет условиям (1.1). Действительно, во-первых, если удовлетворяет условиям (1.6), то, суммируя в (1.7) по к, мы находим, что

откуда следует, что константа справа здесь равна как она равна 1 при Во-вторых, следующие соображения показывают, что все функции неотрицательны. Предположим сперва, что ни одно из не обращается в нуль. Тогда при достаточно малых так как, если то а если то Если бы теперь не все были неотрицательны, то существовало бы конечное положительное число о, являющееся наибольшим из значений таких, что

Но тогда из соотношения следовало бы, что элементы матрицы неотрицательны при что противоречит определению числа . Такпм образом, если все не равны нулю, то и все В общем случае обозначим через матрипу в которой элементы заменены на а элементы заменены на Тогда удовлетворяет условиям (1.6) и не содержит нулевых элементов, так что элементы матрицы определенной ревенством

будут все неотрицательны. Элементарное вычисление показывает, что при матрица стремится к следовательно, и все элементы матрицы также неотрицательны. Остается еще только доказать единственность полученного решения. Для этого заметим, что из уравнения

вытекает, что

Применяя теорему Тейлора с остаточным членом, получаем, что должно иметь вид

что и требовалось доказать.

Система (1.7) в матричной форме имеет вид и может быть изучена аналогичным образом. Она имеет решение

Таким образом, при допущенном нами начальном условии системы (1.7) и имеют одно и то же решение.

Следующие два примера являются типичными образцами примеров, возникающих в практических приложениях. В подобных примерах величины обычно или определяются из теоретических соображений,

или же находятся из экспериментальных данных на основе того факта, что с точностью до членов второго порядка малости равно вероятности перехода системы за время из состояния в состояние вероятности того, что за это время не произойдет ни одного перехода из состояния в другое состояние.

Прпмер 1. Предположим, что возможны только переходы из состояния в состояние (и из N в 1), и при этом

Если теперь фиксировать к и отождествить с 1, то система (1.7) перейдет в следующую систему уравнений

Если положить то мы будем иметь

Отсюда следует, что

так что должно иметь вид

Подставляя это выражение в дифференциально-разностное уравнение для находим, что можно записать в виде Присоединяя к этому результату начальные условия, находим, что

и

Если то при других число имеет отрицательную действительную часть. Следовательно,

что, впрочем, было интуитивно ясно с самого начала.

Пример 2. В примере 1 был только один эргодический класс состояний и совсем не было несущественных состояний. Для того чтобы проиллюстрировать различные другие возможности, мы видоизменим предыдущий пример, предположив, что система, попав в состояние остается в этом состоянии:

В этом случае уравнения (1.7) принимают вид

с начальными условиями Тогда

и нетрудно проверить, что решение нашей системы имеет вид

В этом примере существует только один эргодический класс состояний, содержащий единственное состояние с номером Все остальные состояния несущественные.

Предыдущий пример иллюстрирует построение, которое может быть проведено и в общем случае. Если задана некоторая цепь Маркова, то можно, выбрав одно из состояний цепи, скажем состояние, видоизменить процесс так, чтобы, попав в это состояние, система оставалась там навсегда. В терминах величин это означает просто, что полагаются равными нулю. В терминах старого процесса и выборочных функций получающиеся при этом новые вероятности перехода представляют собой вероятности того, что при условии будет при всех вероятности того, что при условии будет хотя бы для одного Мы будем говорить, что такое построение превращает состояние в поглощающий экран. Можно, конечно, пойтроить цепь, в которой одновременно несколько состояний будут поглощающими экранами.

Перейдем теперь к подробному изучению марковских переходных матричных функций однородных марковских цепей, предполагая выполненным требование непрерывности (1.4). Мы покажем, что вероятности перехода всегда имеют производные, удовлетворяющие системам дифференциальных уравнений (1.7) и (1.7). Особое внимание будет уделено связи между свойствами вероятностей перехода и свойствами выборочных функций сепарабельного марковского процесса, определяемого соответствующей марковской матрицей. Мы будем всегда считать, что условные вероятности вида где событие А определяется условиями, наложенными на выборочные функции при определены однозначно независимо от того, положительна или нет вероятность мы примем за эти условные вероятности числа, определяемые естественным и очевидным образом при помощи заданных вероятностей перехода.

В остальной части настоящей главы нам большей частью будет удобнее случайные величины, зависящие от параметра обозначать через а не через и соответственно этому значения рассматриваемых величин в точке пространства элементарных событий обозначать через а не через

Теорема 1.2. Если - стационарная марковская переходная матричная функция, удовлетворяющая условию (1.4), то при всех существует предел

Если сепарабелъный процесс, определяемый вероятностями перехода и некоторым начальным распределением

вероятностей, то

причем, если то с вероятностью в некоторой окрестности точки (величина этой окрестности зависит от

Подчеркнем, что в последнем предложении не утверждается, что почти все выборочные функции непрерывны, а утверждается только, что в любой фиксированной точке разрывы могут иметь лишь выборочные функции из некоторой совокупности выборочных функций, имеющей, вероятность 0.

Существование предела (1.9) представляет собой, конечно, чисто аналитический факт, который сам по себе совершенно не связан с теорией вероятностей; этот факт вытекает из условий (1.1) и (1.2) и условия непрерывности (1.4). Однако будет полезно и в какой-то мере поучительно для доказательства существования этого предела использовать теорию вероятностей, что мы и сделаем. Итак, предположим, что процесс удовлетворяет предположениям второй части нашей теоремы. Тогда стоящая в левой части соотношения (1.10) условная вероятность является функцией удовлетворяющей функциональному уравнению

Кроме того, Следовательно, функция должна быть монотонно неубывающей, а при этом ограничении единственное решение написанного здесь функционального уравнения имеет вид

где постоянная в показателе степени неотрицательна и может равняться (в последнем случае мы считаем экспоненциальную функцию равной 0). Таким образом, мы сразу получаем соотношение (1.10), где некоторая постоянная, однако пока мы еще не имеем права отождествить эту постоянную с пределом (1.9). Следующие соображения показывают, что случай невозможен. Предположим, что и определим равенством

Тогда, если и если а настолько мало, что при всех выполняется неравенство то

В соответствии с определением сепарабельного процесса (см. § 2 гл. II) вероятность можно сделать сколь угодно близкой к выбрав соответствующим образом моменты времени Поэтому из предыдущего соотношения вытекает, что

причем, выбрав достаточно малое а, можно сделать сколь угодно малым входящее в это соотношение число Взяв мы видим, что случай невозможен. Значит, должно быть обычной экспоненциальной функцией от при этом, как мы только что доказали, для

любого при достаточно малом выполняется неравенство

Комбинируя его с неравенством

находим, что

отсюда и вытекает (1.9). Наконец, из (1.9) мы получаем, что если

то

Если (в обоих случаях со стороны положительных значений), то выражение, стоящее справа, стремится к 1, а это значит, что если то и при близких к будет (за исключением, быть может, множества выборочных функций вероятности 0). Следовательно, почтп все выборочные функции непрерывны в точке что и требовалось доказать.

Заметим, что если предположить заранее существование предела в (1.9), то вероятность (1.10) можно немедленно вычислить следующим способом. В соответствии с определением сепарабельного процесса (см. § 2 гл. II) на интервале существует последовательность точек такая, что два -множества

отличаются не более, чем на множество вероятности 0. Далее, из условия непрерывности (1.4) следует, что в качестве последовательности можно выбрать любую последовательность, всюду плотную на отрезке В частности, выбрав в качестве последовательность всех точек вида иметь

это эквивалентно (1.10).

Мы будем называть функцию ступенчатой функцией, если она имеет на каждом конечном замкнутом отрезке лишь конечное число точек разрыва, тождественно равна постоянной в каждом открытом интервале своих точек непрерывности и ее значение в любой точке разрыва удовлетворяет одному из неравенств

Мы будем говорить, что функция имеет скачок в точке если она разрывна в этой точке, при этом существуют односторонние пределы удовлетворяющие одному из двух указанных неравенств. Разрывы ступенчатой функции, лежащие внутри интервала, на

котором она определена, являются скачками. Функция от принимающая только конечное число значений и непрерывная всюду, кроме точек, в которых она делает скачок; является ступенчатой функцией.

Мы докажем, что почти все выборочные функции марковской цепи рассматриваемого типа являются (в сепарабельном случае) ступенчатыми, функциями. Теорема 1.2 показывает, что вероятность разрыва в любой фиксированной точке равна 0. Следующая теорема существенно уточняет этот результат.

Теорема 1.3. Пусть -стационарная марковская переходная матричная функция, удовлетворяющая условию (1.4). Тогда:

(I) Существуют пределы

причем

(II) Пусть -сепарабелъный процесс, определяемый марковской переходной матричной функцией вместе с некоторым начальным распределением вероятностей. Если и если то с вероятностью 1 выборочная функция имеет при некотором первый разрыв, являющийся скачком. При этом если то условная вероятность того, что первый разрыв выборочной функции в интервале (при условии, что такие разрывы в этом интервале имеются) будет скачком в состояние равна

Пусть - сепарабельный процесс, фигурирующий в пункте (II) теоремы. Предположение о существовании такого процесса не является ограничением на марковскую матричную функцию. Кроме того, при доказательстве пункта (II) можно, не ограничивая общности, считать что мы и будем делать.

Если то (1.10) показывает, что коль скоро то и при всех так что В этом случае теорема, очевидно, будет верна, и мы предположим в дальнейшем, что Пусть любые положительные числа и то наименьшее из кратных числа о, превосходящих Вероятность очевидно, не меньше вероятности того, что при будет и первое изменение величины рассматриваемой как функция от целого будет переходом из аналитически

Еслп настолько мало, что при то из предыдущего неравенства вытекает, что

При в силу теоремы 1.2 отсюда следует, что

Следовательно, верхний предел справа должен быть конечным. Разделив теперь обе части неравенства на положив и пользуясь тем, что можно выбрать произвольно малым, получаем, что

Таким образом, предел (1.12) существует, после чего соотношение (1.13) вытекает из равенства

Докажем теперь, что при любом первый разрыв выборочной функции на интервале является скачком (если только разрывы на этом интервале вообще существуют). Фиксируем состояние примем начальное условие и рассмотрим -множество для которого при некотором выполняется соотношение

Тогда

Отсюда следует, что если определить как совокупность точек , содержащихся в множествах для бесконечного числа значений т. е. если положить

то

Множество возрастает при убывании . Следовательно, если определить как множество точек, содержащихся в некотором то

Каждая из выборочных функций, соответствующая элементарному событию и, входящему в равна тождественно на некотором интервале с левым концом в точке 0, имеет разрыв при некотором и равна тождественно на некотором открытом интервале с левым концом в точке Так как

то это неравенство является на самом деле равенством, и, следовательно, равенством является также предыдущее неравенство. Итак, для всех за исключением -множества вероятности при при где и о зависят от причем в предположении, что в интервале существует разрыв выборочной функции, вероятность того, что равна Если и если то, как мы уже отмечали выше, вероятность существования

разрыва выборочной функции в интервале равна при всех а. Если и если то вероятность разрыва выборочной функции на интервале равна 1 — т. е.

Мы не доказали еще, что для почти всех разрыв в точке является скачком, так как мы не проверили, что в точке выполняется условие (1.11). Этот не очень существенный факт выводится из следующих соображений. По определению свойства сепарабельности вероятностного процесса (см. § 2 гл. И) существует счетное -множество такое, что для всех точек за исключением -множества вероятности 0, для любого открытого интервала оси функция имеет на множестве всех точек этого интервала те же самые наименьшую верхнюю и наибольшую нижнюю грани, что на совокупности точек счетного множества содержащихся в этом интервале. Так как вероятность разрыва в какой-либо из точек счетного множества равна 0, то должно быть заключено между включительно, т. е. разрыв в точке является с вероятностью 1 скачком. Этот факт является более или менее случайным следствием нашего определения сепарабельности вероятностного процесса. Если предположить, что процесс сепарабелен относительно класса замкнутых множеств, то почти все выборочные функции окажутся даже непрерывными справа или слева в точке

Теорема 1.4. Выборочные функции сепарабелъной однородной цепи Маркова (с конечным числом состояний), для которой вероятности перехода удовлетворяют условию непрерывности (1.4), почти все являются ступенчатыми функциями.

Мы будем предполагать при доказательстве, что существует стационарная марковская переходная матричная функция, которая вместе с начальным распределением вероятностей определяет процесс. Это предположение является небольшим ограничением, так как условные вероятности перехода вообще говоря, могут быть определены не при всех однако оговорки, которые нужно сделать в некоторых рассуждениях, для того чтобы придать доказательству полную общность, являются очевидными.

Пусть процесс, указанный в формулировке теоремы. Мы уже видели, что (за исключением множества выборочных функций вероятности 0) если то если же то выборочная функция имеет в некоторой точке первый разрыв, являющийся скачком. Если то положим Повторяя это рассуждение, легко показать, что если и если то при в этом случае положим Если же то существует первый разрыи после момента являющийся скачком, происходящим в некоторый момент причем

и т. д. Вообще, мы имеем

(здесь предполагается, что Более того, если дополнить условие любыми другими условиями, наложенными на выборочные функции при значениях параметра, превосходящих то это не изменит экспоненциальную функцию, стоящую справа. Этот факт объясняет, почему можно бесконечно продолжать проведенное выше построение. Чтобы доказать теперь теорему, покажем, что с вероятностью 1.

Пусть Тогда для последовательности случайных величин имеем

Здесь мы положили и понимаем разность со — с при любом как . Тогда с вероятностью, не меньшей чем бесконечно много разностей примут значение, не меньшее чем а, так что с вероятностью, не меньшей чем при любом а. Следовательно, вероятность тога, что равна 1, что и требовалось доказать.

Пусть вероятность того, что то и что переход из в к совершается при помощи ровно одного скачка. Кажется соблазнительным вычислить основываясь на том, что функция должна быть в атом случае тождественно равна до точки скачка (вероятность чего равна затем должен быть совершен скачок в состояние к (вероятность чего равна и после этого должно быть тождественно равно к вплоть до момента (вероятность чего равна отсюда

Мы дадим сейчас подробное обоснование приведенного рассуждения; в последующем, однако, мы будем использовать подобные рассуждения уже без всяких дальнейших обоснований. Положим снова фиксируем состояния ! и и обозначим через М -множество, для которого при некотором выполняется соотношение

и через М - -мнсжество, для которого при некотором таком, что выполняется соотношение

Тогда совпадает с множеством точек входящих в бесконечное число множеств а также с множеством точек входящих во все множества кроме конечного их числа, т. е. в обычных обозначениях теории множеств Отсюда следует, что

С другой стороны,

и так как при сумма справа стремится к интегральному выражению для полученному выше с помощью эвристических рассуждений, то мы оправдали тем самым для данного случая этот эвристический способ вычисления.

Пусть вероятность того, что если то в момент будет и переход из в произойдет при помощи ровно скачков. Мы уже вычислили Тем же самым способом мы выразим вероятности через вероятности получим, таким образом, рекуррентный способ их определения:

или

Так как почти все выборочные функции являются ступенчатыми функциями, то

Соединяя (1.14) и (1.15), находим, что

а соединяя (1.14) и (1.15), получаем, что

Эти два интегральных уравнения являются столь важными, что мы дадим для них другой, независимый от только что проведенного вывод, поясняющий их вероятностный смысл. Первое из этих уравнений показывает, что есть вероятность того, что если то или останется равным до момента (это возможно лишь, если к вероятность этого равна тогда или же остается равным до момента (вероятность этого равна переходит затем за время в некоторое состояние (вероятность этого равна и за оставшееся время переходит в к [вероятность этого равна Таким образом, уравнение (1.16) основывается существенным образом на том факте, что почти все

выборочные функции имеют первый разрыв, являющийся скачком. Аналогично (1.16) основывается существенным образом на существовании в интервале последнего разрыва, также являющегося скачком.

Уравнения (1.16) и (1.16) показывают, что элементы стационарной марковской переходной матричной функции, удовлетворяющей условиям непрерывности (1.4), имеют непрерывные производные. Взяв производные от обеих частей этих уравнений, мы получим, соответственно, уравнения (1.7) и (1.7), которые мы вывели раньше прямым дифференцированием уравнения Чепмена — Колмогорова. Таким образом, дифференциальные уравнения (1.7) и (1.7) могут быть истолкованы в терминах свойств непрерывности выборочных функций. Это истолкование окажется особенно важным в случае более общих процессов, которым посвящен § 2.

Уравнения (1.14) или (1.14) и (1.15) дают явный алгоритм для вычисления вероятностей через величины Этот алгоритм более нагляден с вероятностной точки зрения, чем приведенное ранее решение системы дифференциальных уравнений (1.7) и (1.7) в виде

Предположим теперь, что произвольные постоянные, удовлетворяющие условиям (1.6). Мы уже доказали, что существует стационарная марковская переходная матричная функция [удовлетворяющая условию непрерывности (1.4)], для которой выполнены соотношения (1.9) и (1.12) при заданных В самом деле, мы показали выше, что такой матричной функцией будет функция Второй метод состоит в построении по формулам (1.14) и (1.15) или (1.14) и (1.15), и, на самом деле, нетрудно непосредственно доказать, что ряд (1.15) сходится и определяет стационарную марковскую переходную матричную функцию [косвенное доказательство этого факта сводится просто к замечанию, что существует единственная стационарная марковская переходная матричная функция, удовлетворяющая условиям непрерывности (1.4) и соответствующая заданным и а именно функция и что, как мы уже показали, для этой функции верно (1.15)]. Теперь мы укажем третий метод для построения матрицы вероятностей перехода. Этот метод важен тем, что здесь строятся явно выборочные функции соответствующей цепи Маркова и при их помощи определяется марковская переходная матричная функция. Таким образом, доказательство существования решения систем дифференциальных уравнений и (1.7) проводится здесь чисто вероятностным способом, причем этот метод применим также в случае значительно более сложных систем интегро-дифференциальных уравнений, рассматриваемых в § 2. Для построения цепи Маркова с заданными и мы просто переделаем следующим образом доказательство теоремы 1.3.

Пусть произвольная случайная величина, принимающая только значения Пусть положительная случайная величина, для которой ее совместное распределение вероятностей вместе с величиной определяется формулой

(если то мы считаем, как и раньше, что Если уже определены случайные величины то мы определим величину как случайную величину, принимающую только значения и такую, что совместное распределение вероятностей для нее и для величин задается равенствами

а величину — как положительную случайную величину такую, что совместное распределение вероятностей для нее для величин

определяется равенствами

Мы предположили здесь, что если то Чтобы дополнить определение, положим

Таким образом, мы индуктивно определили последовательность случайных величин как мы сейчас увидим, эта последовательность совпадает с последовательностью случайных величин, полученной при доказательстве теоремы 1.4, с Чтобы показать это, заметим сперва, что с вероятностью 1 (мы используем здесь доказательство соответствующего факта в теореме 1.3), так что, положив мы можем определить при как

Следующие рассуждения показывают, что определенный таким образом процесс является целью Маркова, которая удовлетворяет соотношениям (1.9) и (1.12) с данными Воспользуемся тем фактом, что если с положительная постоянная, положительная случайная величина, имеющая плотность любое положительное число, то

Этот тривиальный факт показывает, что если мы выберем некоторое число и прервем описанное выше построение общей выборочной функции в тот момент, когда дойдем до величины х, превосходящей так что функция окажется определенной лишь при и если мы возобновим после этого наше построение, начав его с момента аналогично тому, как раньше оно начиналось с момента и используем при этом в качества начальных значений для этого нового построения значения величины с соответствующими уже найденными вероятностями, то результат будет тот же самый, как если бы мы не прерывали наше построение. Но тогда

а) условное распределение вероятностей величины при условии, что заданы значения при зависит только от т. е. построенный процесс является марковским;

б) вероятности зависят только от процесс является однородным.

Условие непрерывности (1.4) удовлетворяется очевидным образом, и так как постоянные использованные при построении, по отношению к выборочным функциям имеют тот самый смысл, что и постоянные существование которых следует из теорем 1.1 и 1.2, то эти постоянные можно отождествить друг с другом. Этим заканчивается построение цепи Маркова с заданными величинами Отметим, что соответствующее аналитическое вычисление величин проводится при помощи (1.14) и (1.15) или (1.14) и (1.15) и использует тот факт, что

Связь между системой дифференциальных уравнений (1.7) и сопряженной системой (1.7) яснее проявляется в неоднородном случае, о котором мы сделаем поэтому несколько замечаний. Мы не будем при этом стремиться к максимальной строгости изложения и к тому, чтобы выбрать

минимальную систему гипотез. Предположим, что это марковская переходная матричная функция, для которой существуют функции такие, что

так что в силу (1.1)

Тогда

и

Взяв частные производные по от обеих частей системы уравнений Чепмена — Колмогорова (1.2), положив а заменив затем переменные на будем иметь

Взяв далее частные производные но а от обеих частей (1.2) и положив найдем, что

Система уравнений (1.17) называется обратной системой уравнений, так как она связана с дифференцированием по начальному моменту времени система уравнений (1.17) называется прямой системой дифференциальных уравнений, так как она связана с дифференцированием по конечному моменту времени В однородном случае мы видели, что обратная система (1.7) существенным образом предполагает существование первого скачка выборочной функции после заданного момента (и до момента тогда как прямая система (1.7) предполагает существование последнего скачка (после момента перед моментом времени

В настоящем параграфе мы использовали существенным образом тот факт, что рассматриваемая нами цепь имела конечное число состояний. Положение становится значительно более сложным, если имеется счетное число состояний. Как мы увидим в следующем параграфе, для таких процессов характерным является то, что в широком классе случаев справедлива обратная система дифференциальных уравнений, но не справедлива прямая система. Этот факт связан со свойствами разрывов выборочных функций, которые могут быть более сложными, чем скачки.