§ 6. Марковские процессы

а) Марковские процессы в узком смысле. Мы будем здесь рассматривать только действительные процессы; изменения, которые нужно сделать, чтобы перейти к комплексному случаю, будут очевидны. Марковским процессом (н узком смысле) называется процесс удовлетворяющий следующему условию: для любого конечного набора значений параметра условное распределение вероятностей величины х, относительно величин совпадает с условным распределением вероятностей величины х, относительно величины х, в том смысле, что для каждого с вероятностью 1

Ясно, что если то процесс также является марковским. Когда какой-нибудь процесс называют марковским, то всегда подразумевается, что речь идет о марковском процессе в узком смысле.

На первый взгляд условие (6.1) кажется сильнее следующего условия: с вероятностью 1

Где стоящая справа случайная величина янляется беронской функцией от или вообще является функцией, измеримой относительно случайной величины Однако на самом деле функция всегда совпадает с правой частью соотношения (6.1). Действительно, применяя к обеим частям (6.1) операцию мы видим, что правая часть при этом не меняется, а левая часть в силу формулы (10.9) гл. I переходит в правую часть (6.1). По причине эквиналентности (6.1) и (6.1) марковский процесс описывают иногда несколько вольно как процесс, для которого условная вероятность в левой части (6.1) зависит только от

Условие (6.1) эквивалентно также следующему условию: для любых принадлежащих и любого X (снова с вероятностью 1)

В самом деле, если (6.2) выполнено с вероятностью если то, применяя операцию к обеим частям (6.2), мы получим (6.1). Обратно, если (6.1) выполнено с вероятностью 1, то

для любого множества измеримого относительно какой-нибудь конечной совокупности величин а как мы видели в § 7 гл. I, достаточно проверить это соотношение для всех таких чтобы иметь право отождествить интегрируемую функцию с одним из вариантов левой части (6.2).

Мы докажем теперь, что если — марковский процесс, любая -функция, измеримая относительно семейства величин и если то с вероятностью 1

Это равенство содержит в себе (6.2) и поэтому, как мы уже видели, влечет за собой и (6.1). Мы будем называть утверждение (6.3) марковским свойством. Марковское снойство будет сперва выведено в предположении, что содержит только конечное число точек, не меньших Пусть это будут точки и пусть произвольные числа. Тогда если у определено раненством

то (6.3) сводится к

Обратно, если (6.3) выполнено с вероятностью 1 для любых то (6.3) выполнено с вероятностью 1 для любой функции у, измеримой относительно семейства величин и такой, что В самом деле, если (6.3) выполнено и если - множество определено, как

где А — любой -мерный правый полузамкнутый интервал, то из (6.3) тривиальным образом следует, что с вероятностью 1

Так как множества вместе с -множестнами вероятности порождают класс всех -множеств, измеримых относительно семейства величин то отсюда следует (см. теорему 9.6 гл. 1), что (6.3) вылолвено для всех рассматриваемых у. Докажем теперь (6.3) индукцией по Если то (6.3) тривиально, так как в этом случае обе части (6.3) с вероятностью 1 равны у. Если то (6.3) — а следовательно, и (6.3) — выполнено с вероятностью 1, так как (с вероятностью 1)

и в силу (6.2)

Предположим теперь, что равенство (6.3) выполнено с вероятностью 1 для некоторого и покажем, что тогда оно выполнено с вероятностью 1 и при замененном на Пусть любые действительные числа. Определим как

Тогда, применяя предположение индукции к самому процессу а также к процессу в котором отброшены все значения параметра, меньшие получаем, что с вероятностью 1

Далее, с вероятностью 1

С другой стороны, используя предположение индукции при мы получаем, что с вероятностью 1

Соединяя (6.6) и (6.7) с (6.5), мы получаем (6.3) — а следовательно, и (6.3) с замененным на Предположим, наконец, что содержит бесконечно много точек, больших чем Тогда из только что полученного результата следует, что (6.4) выполнено с вероятностью 1, еслп измеримое множество выборочного пространства некоторой конечной совокупности величин Отсюда вытекает (см. теорему 9.6 гл. I), что (6.3) выполнено с вероятностью 1, если равно с вероятностью 1 функции от измеримой относительно борелевского поля -множеств, порожденного классом множеств т. е. если функция у измерима относительно семейства величин что и требовалось доказать.

Данное выше определение марковского процесса зависит от выбора положительного направления на оси Мы дадим сейчас в впде необходимого и достаточного условия другое, эквивалентное, определение, которое, будучи независимым от выбора положительного направления на оси показывает, что если марковский процесс, то и величины также образуют марковский процесс. Процесс является марковским тогда и только тогда, когда для любого конечного набора значений параметра любых действительных чисел с вероятностью 1

Кажется соблазнительным переформулировать (6.8), сказав, что при фиксированном две совокупности случайных величин взаимно независимы; иными словами, при известном (известном настоящем) прошлое и будущее не зависят одно от другого. Однако ввиду некоторого произвола в определении условных вероятностей при попытке дать такую интерпретацию равенству (6.8) требуется известная деликатность. Приведем теперь наглядное, хотя и не вполне точное доказательство эквивалентности равенства (6.8) и марковского свойства, опирающееся на указанную интерпретацию; затем будет дано строгое доказательство этой эквивалентности. Соотношение (6.8) утверждает, что при заданном

некоторое будущее событие и некоторое прошлое событие взаимно независимы, так как соответствующие вероятности перемножаются (все это при условии, что известно настоящее). Эквивалентное условие независимости состоит в том, что условные вероятности не зависят на самом деле от соответствующих условий; в нашем конкретном случае, если обозначить через вероятности при условии, задано это второе условие независимости запишется в виде

(с - вероятностью 1). Мы видели в § 10 гл. I, что это соотношение иначе можно записать как

Если это равенство сводится к (6.1); при произвольном оно все еще остается частным случаем марковского свойства.

Дадим теперь точное доказательство условия (6.8). Определим равенствами

Тогда, используя теорему 8.3 гл. I, мы получаем, что с вероятностью 1

Если процесс х, марковский, то, используя еще раз теорему 8.3 гл. I, правую часть (6.9) можно переписать следующим образом:

Соединяя (6.9) и (6.10), находим, что с вероятностью 1

а это соотношение совпадает с (6.8). Обратно, если с вероятностью 1 выполнено (6.11), то с вероятностью 1

так что для любого множества являющегося измеримым множеством выборочного пространства величин

Но тогда

так что

где — любое -множество вида как мы видели в § 7 гл. I, справедливости (6.12) для таких множеств

достаточно для того, чтобы идентифицировать подинтегральную функцию в правой части (6.12) с Поэтому с вероятностью 1

Но это и есть (6.1), лишь со слегка измененными обозначениями.

Пример 1. Пусть - взаимно независимые случайные величины. Тогда процесс является марковским процессом. Действительно, является одновременно одним из вариантов и одним из вариантов Отметим, что в этом случае существует условное распределение вероятностей случайной величины относительно величин в смысле § 9 гл.

Пример 2. Пусть величины у те же, что и в примере 1. Положим Пусть функция распределения суммы Тогда процесс является марковским процессом: действительно, если то величина

является одновременно одним из вариантов условного распределения х относительно и одним из вариантов условного распределения х, относительно Это интуитивно ясно, однако, быть может, будет поучительно дать и формальное доказательство. Мы должны показать, что если это -множеетво, являющееся измеримым множеством выборочного пространства величин или, что равносильно, измеримым множеством выборочного пространства величин то

Для вывода этого соотношения удобно предположить, что случайные величины

являются координатными функциями -мерного пространства точек причем

для каждого -мерного борелевского множества А, где

В соответствии с теорией изображений (§ 6 гл. I) это предположение не ограничивает общности. Переписывая в новых обозначениях (6.13), мы видим, что достаточно доказать, что для любого -мерного борелевского множества введенного здесь -мерного пространства выполняется: соотношение

Это соотношение достаточно доказать лишь для множеств являющихся -мерными интервалами, заданными неравенствами

но для таких оно становится частным случаем равенства (4.2).

Пример 3. Пусть функции от где 5 — действительное число, одномерное борелевское множество, обладающее следующими свойствами:

(I) является вероятностной мерой по А при фиксированном

(II) является беровской функцией от при фиксированном А. Пусть некоторая вероятностная мера на одномерных борелевских множествах. Тогда существует марковский процесс такой, что является одним из вариантов условной вероятности и что

Чтобы показать это, заметим, что при каждом интеграл (мы принимаем здесь очевидные соглашения о системе обозначений)

определяет вероятностную меру на -мерных борелевских множествах в пространстве точек Определим последовательность случайных неличин так, чтобы совместное распределение величин задавалось приведенным выше кратным интегралом. Это можно сделать, взяв за координатные функции бесконечномерного пространства, поскольку соответствующие меры удовлетворяют условиям взаимной согласованности (см. гл. I, § 5), что проверяется тривиальным образом. Столь же тривиально проверяется, что полученный таким способом процесс является марковским, и что с вероятностью 1

В частности, если функции заданы посредством плотностей, так что

то совместное распределение величин имеет плотность

Марковское свойство проявляется здесь в том, что не зависит от Мы уже видели, что процесс обращенный во времени, также является марковским процессом. В только что описанном случае существования плотностей переходные вероятности обращенного процесса могут быть изящно выражены в явном виде. Условное распределение при заданном имззт плотногть (по

(Мы здесь предположили, что плотности являются бзровскими функциями от пары переменных. На самом делз, как нзтрудт проверить, эти плотности всегда можно выбрать такими.) Заметим, что плотности прямых

переходных вероятностей могут быть выбраны независимо от плотности начального распределения вероятностей, так что изменение не влечет за собой изменения Однако если выбраны, то плотности (6.14) обращенных вероятностей перехода, вообще говоря, уже зависят от выбора

Пусть теперь любой марковский процесс с указанным множеством значений параметра. Как мы видели в § 9 гл. I, существует функция от одномерных борелевских множеств А и действительного переменного, а именно условное распределение вероятностей в широком смысле величины относительно являющаяся при фиксированном А беровской функцией, определяющая при фиксированном значении действительного переменного вероятностную меру по А и такая, что с вероятностью 1 при каждом и А

Пусть распределение вероятностей для величины

Покажем (ср. с примером 3), что если беровская функция от то

В силу марковского свойства и результатов § 9 гл. I первое интегрирование в правой части дает один из вариантов являющийся беровской функцией от Следующее интегрирование дает

Продолжая аналогичным образом, мы получим в результате последнего интегрирования

что и требовалось доказать. Таким образом, если определить, как это делалось в примере 3, при помощи функций марковский процесс, в котором образующие его случайные величины являются координатными случайными величинами, то полученный марковский процесс окажется изображением заданного процесса.

Пусть теперь любой марковский процесс. Тогда при переходные вероятности удовлетворяют с вероятностью 1 соотношению

Действительно, из марковского свойства вытекает, что условная вероятность справа совпадает с

так что (6.16) является следствием общих теорем о повторных условных математических ожиданиях. Это соотношение называют уравнением Чепмена-Колмогорова или, в частных случаях, уравнением Смолуховского. Обобщая построение последовательности функций проведенное в предыдущем абзаце, заметим, что существует функция где являющаяся при фиксированных вероятностной мерой на одномерных борелевских множествах А, при фиксированных беровской функцией от I и такая, что при фиксированных с вероятностью 1

Тогда (6.16) можно записать в виде

Это соотношение справедливо при всех не принадлежащих некоторому борелевскому множеству В (зависящему от такому, что

В приложениях обычно задают не сам марковский процесс, а переходные вероятности, при помощи которых он конструируется. В частности, обычно предполагают, что множество содержит минимальный элемент и что задана функция удовлетворяющая тождественно уравнению (6.18). Если задано также начальное распределение вероятностей при то марковский процесс с переходными вероятностями определяется следующим образом. Для любых случайные величины должны иметь совместное распределение, получающееся из заданного распределения величины в заданных переходных вероятностей по формуле (6.15) (где х равно 1 на некотором -мерном борелевском множестве и вне него, т. е. так же, как в примере 3). Как мы уже отмечали, тривиальным образом проверяется, что при таком определении величины образуют марковский процесс. Заданные таким способом совместные распределения взаимно согласованы (т. е. удовлетворяют условиям согласованности Колмогорова), и поэтому существует марковский процесс с заданными начальным распределением и переходными вероятностями (см. § 5 гл. I). Часто предполагается, что переходная функция задается плотностью

В этом случае (6.18) сводится к

Уравнение (6.19) часто обосновывают наглядно, говоря, что вероятность перехода из точки 5 в момент в точку в момент равна вероятности перехода из точки в момент в точку С в промежуточный момент времени умноженной на вероятность перехода из С в момент в момент и просуммированной по всем значениям С. В этом утверждении нет ничего неправильного. Это просто неточная формулировка соотношения (6.19); эта неточная формулировка внушает, однако, некоторым неосторожным студентам представление, будто (6.19) справедливо для всех вероятностных процессов. Подчеркнем поэтому, что при отсутствии марковского свойства первый множитель под знаком интеграла в (6.19) будет, вообще говоря, зависеть от

О последовательности случайных величин говорят, что она образует сложный -связный) марковский процесс, если существует целое число такое, что при любых с вероятностью 1

Если то этот процесс является обычным марковским процессом (иногда его называют также простым марковским процессом). Это обобщение не очень существенно, так как (векторный) процесс, образованный случайными величинами обладает марковским

свойством [это свойство определяется для векторных процессов при помощи очевидного видоизменения (6.1)]. Таким образом, сложный марковский процесс может быть сведен к простому за счет перехода к векторным случайным величинам. В частности, для важного типа процессов (цепи Маркова), в которых случайные величины принимают значения только из фиксированного конечного множества, процесс будет процессом того же типа; в этом случае величины можно рассматривать не как векторные случайные величины, а как обычные случайные величины, принимающие значений, если величины принимают значений.

б) Марковские процессы в широком смысле. Пусть гауссовский процесс с нулевыми средними, либо действительный, либо удовлетворяющий условию

теорему 3.2). Чтобы определить марковский процесс в широком смысле, мы должны найти какое-либо свойство процесса выраженное через его вторые моменты, кажущееся слабее марковского свойства, а в действительности эквивалентноэ марковскому свойству или, по крайней мере, важнейшим частным случаям марковского свойства. Как мы уже отмечали (§ 3), один из вариантов является линейной комбинацией величин наиболее близкой к в смысле обращения в минимум величины

(в § 3 этот вариант обозначался Из марковского свойства следует, что с вероятностью 1

Условие (6.21) существенно слабее марковского свойства, так как марковское свойство относится не только к условному математическому ожиданию а ко всему условному распределению случайной величины Однако, как мы сейчас покажем, в нашем случае условие (6.21) эквивалентно условию (6.1). Поэтому условие того, чтобы процесс был марковским, можно записать в следующем с вероятностью 1

Это условие касается, в силу (6.20), только вторых моментов процесса. Поэтому мы скажем, что любой процесс, безразлично гауссовский или нет, является марковским процессом в широком смысле, если при всех каковы бы ни были значения параметра с вероятностью 1 выполнено (6.21). Мы должны еще проверить наше утверждение, что для гауссовского процесса из (6.21) следует (6.1). Для такого процесса разность

является гауссовской случайной величиной со средним значением 0, ортогональной к величинам а следовательно, и независимой от них. Поэтому условное распределение при условии, что

которое можно определить как условное распределение вероятностей суммы

будет иметь своим средним значением некоторую линейную комбинацию величин (последний член в (6.22)) и дисперсию, равную дисперсии величины у. Условное распределение величины вполне определяется поэтому ее условным математическим ожиданием, и (6.21) влечет за собой в рассматриваемом случае (6.1), что и требовалось доказать.

В § 8 гл. V будут выведены простые условия, являющиеся необходимыми и достаточными для того, чтобы процесс был марковским в широком смысле. Заметим, что процесс, марковский в узком смысле, не обязан быть марковским в широком смысле, даже если существуют математические ожидания квадратов образующих процесс случайных величин.