§ 41. Марковские процессы (I). Марковское свойство

Пусть переходная функция на Пусть на наложены условия, о которых говорилось в § 35. Переходной функции можно дать наглядную интерпретацию. Пусть имеется некоторая физическая система, состояние которой описывается точкой пространства обозначает вероятность того, что система, находившаяся вначале в состоянии через время находится в состоянии, принадлежащем множеству состояний Другими словами, переходная функция задает вероятностный закон для изменений состояния системы во времени. Обозначим через состояние в момент времени системы, изменения в которой происходят в соответствии с этим вероятностным законом. Ясно, что случайный процесс; в соответствии с основаниями теории вероятностей нужно писать где элемент некоторого пространства с мерой . Пусть распределение вероятностей при т. е. распределение вероятностей начального состояния тогда в качестве распределения вероятностей для -естественнее всего взять

Чтобы построить такой процесс, достаточно для положить ввести вероятность на так, чтобы выполнялась формула (41. 1). Возможность этого можно доказать так же, как в случае, когда вещественная прямая (теорема Колмогорова). В существенном такой процесс единственен, поэтому его называют вероятностным процессом, соответствующим переходной функции и начальной вероятности Так как изучение таких процессов начато Марковым, то их называют марковскими процессами.

Каждой начальной вероятности соответствует определенное распределение вероятностей для Достаточно рассматривать в качестве начального распределения -распределение потому что в общем случае распределение для можно получить интегрированием по мере Случай начального распределения не что иное, как случай, когда и система выходит из состояния а. Такой марковский процесс мы будем обозначать . При этом к со также нужно прибавлять индекс а и писать но мы будем опускать индекс, так как это будет ясно из контекста. Систему марковских процессов мы будем в дальнейшем называть марковским процессом, соответствующим . Наша основная цель — изучение так что все изложенное до сих пор о переходных функциях и полугруппах является только предварительной подготовкой.

Среди вероятностных свойств марковского процесса особенно важным является его марковское свойство.

(I) Обозначим через В, (в случае необходимости с индексом наименьшую -алгебру, содержащую все -множества вида

тогда с вероятностью 1 имеет место формула

Интуитивно это можно представить следующим образом: если состояние в момент фиксировано, то, независимо от состояний до этого момента времени, система двигается по такому закону, как если бы она выходила из состояния в момент это называют марковским свойством. Чтобы доказать вышенаписанное соотношение, достаточно показать, что для

В случае, когда множество вида

(41.2) непосредственно вытекает из (41. 1). Так как обе части равенства (41.2) аддитивны по то можно доказать, что оно выполняется для всех

(II) Немного обобщая марковское свойство, о котором говорилось выше, получаем следующее. Для с вероятностью 1 выполняется соотношение

Это утверждение можно доказать аналогично (I).

(III) Еще немного обобщим свойство (II). Для этого предварительно введем несколько обозначений. Вряд ли нужно пояснять смысл обозначения Точку можно записать в виде будем называть -координатой и обозначать через Обозначим через наименьшую -алгебру, содержащую все подмножества вида Далее

через будем обозначать случайную величину, которая принимает значения в -координата которой равна Через будем обозначать случайную величину в том же пространстве, -координата которой равна

Для с вероятностью 1 выполнено соотношение

В случае, когда множество, имеющее вид не что иное, как формула (41.3) в (II). В общем случае доказательство можно получить, пользуясь тем, что обе части формулы аддитивны по

Для условных средних имеют место аналогичные свойства.

(IV) Для ограниченной измеримой функции

В случае, когда характеристическая функция измеримого множества, это ясно из (I). Для произвольной функции доказательство основано на том, что обе части формулы (41.5) аддитивны

(V) Для ограниченной измеримой функции от переменных на

(VI) Для ограниченной измеримой функции на

Свойства (V), (VI) выводятся соответственно из (III) так же, как было выведено свойство (IV) из (I).