§ 4. СТРОГО МАРКОВСКОЕ СВОЙСТВО

Строгое рассмотрение длительностей пребывания для марковского процесса, или даже для цепей Маркова с непрерывным временем, тесно связано с так называемым строго марковским свойством. Хотя полное обсуждение этого вопроса требует привлесение языка теории меры, основную идею можно объяснить гораздо более просто.

Для того, чтобы развить основную идею необходимо ввести случайную величину специального типа, связанную со случайным процессом, известную под различными названиями: случайная величина, не зависящая от будущего, или марковский момент, или время остановки ( мы будем использовать термин «марковский момент»). Пусть является неотрицательной случайной величиной, связанной с данным процессом с непрерывным параметром. Другими словами, свяжем с каждой выборочной функцией , неотрицательное (возможно бесконечное) число, которое обозначим через . Говорят, что случайная величина является марковским элементом относительно , если она обладает следующим свойством: если - две выборочные функции процесса, такие что , при , то

На описательном языке, который полезен для понимания существенных свойств таких случайных величин, можно сказать, что случайная величина следит за выборочной функцией, начиная с до некоторогомомента , который зависит только от значений рассматриваемой выборочной функции на отрезке и момент в который прекращает слежение, является значением

Для того, чтобы привести пример марковского момента, предположим, что задана цепь Маркова, начальное состояние которой т. е. Если положить

где - фиксированное состояние, и принять , если не существует , для которого , то является марковским моментом. Формальное доказательство простое. Действительно, пусть для фиксированной выборочной функции Это означает, что существует момент , для которого Далее,

если при то и заведомо Следовательно, в силу симметрии Такая случайная величина а называется временем первого достижения состояния Аналогично марковским моментом является время первого достижения любого конечного множества состояний С, не содержащего и определяемого следующим образом:

Доказательство этого повторяет предыдущие рассуждения. Тривиальным марковским моментом является Читатель без труда должен построить другие примеры марковских моментов.

Если ограничиться интуитивным уровнем, то марковское свойство однородных марковских процессов утверждает следующее. Если известны значения при фиксировано), то вероятностное распределение величин

зависит только от значения Более точно, вероятностное распределение величин (4.1) при условии, что известны значения в моменты [или даже, в более общем случае, вся история процесса вплоть до момента совпадает с вероятностным распределением величин

Другими словами, можно найти вероятностный закон для величин (4.1), перемещая шкалу времени так, чтобы и беря в качестве начального состояния значение

Интуитивно кажется правдоподобным, что то же самое соотношение должно выполняться, если заменить фиксированное значение на «марковский момент» а. Более точно, предположим, что мы хотим найти вероятностное распределение величины

т. е. вероятностное распределение где время, прошедшее с момента а, при известном значении X в момент а. В случайной величине о «учитывается» поведение процесса только до момента включительно, но не далее, хотя само значение не обязательно фиксировано и может изменяться от одной реализации к другой. Другими словами, это случайный момент.

Кажется естественной возможность считать, что марковское свойство справедливо для случайного момента Отсюда тогда следовало бы, что вероятностное распределение величины (4.2) совпадает с законом распределения величины

Этот факт не является прямым следствием марковского свойства, поскольку в первоначальной формулировке говорилось о фиксированных моментах. Утверждение, что (4.2) и (4.3) «управляются» одним и тем же вероятностным законом, и выражает строго марковское свойство. Более точно, если для любого марковского момента о вероятностное распределение величин

при известных совпадает с вероятностным распределением величин

при известном то говорят, что процесс Маркова обладает строго марковским свойством. Существуют примеры марковских процессов, не являющихся строго марковскими.

Результат такого рода, который следует из (4.4), крайне важен для вычисления различных представляющих интерес вероятностных характеристик. Действительно, один из основных приемов анализа случайных процессов и вычисления вероятностных характеристик состоит в получении рекуррентных соотношений, использующих обычно первые или последние моменты осуществления определенных событий. Рассмотрим пример. Предположим, что мы хотим найти представляя рассматриваемое событие через момент первого достижения состояния Пусть момент первого достижения состояния начиная из состояния Выше было указано, что моменты первого достижения конечного множества состояний являются марковскими, в частности марковский момент. Пусть

Разумеется, начиная с момента когда частица попадает в состояние вероятностное распределение ее будущей истории такое же, как если бы а начальное состояние цепи было бы и цепь Маркова «управлялась» бы матрицей обычным образом. Это положение справедливо лишь при условии выполнения строго марковского свойства. Тогда верно соотношение

которое является непрерывным аналогом формулы (5.9) гл. 2. Читатель может интерпретировать как функцию плотности величины когда эта плотность существует. Формула (4.5) следует из формулы полной вероятности, где - вероятность того, что переходная вероятность, т. е. вероятность того, что если момент начальный

(частица тогда с необходимостью находится в состоянии то единиц времени спустя процесс будет снова в состоянии

Можно выписать множество других соотношений типа восстановления, подобных (4.5) (родственных формулам (2.1), (2.2) и (2.3) гл. 5). Мы еще раз подчеркнем, что такие соотношения справедливы в общем случае лишь при выполнении строго марковского свойства.

Тот факт, что длительности последовательных пребываний в данном состоянии (или в двух фиксированных состояниях) являются независимыми случайными величинами, есть непосредственное следствие строго марковского свойства. (Читатель должен уметь обосновать это формально.)

Поскольку строго марковское свойство играет фундаментальную роль при анализе марковских процессов, мы в заключение приведем наиболее приятный результат. Любая консервативная цепь Маркова с непрерывным временем, имеющая лишь устойчивые состояния, — строго марковский процесс. Или, в более общей формулировке, марковское свойство выполняется для любого марковского момента а, такого, что с вероятностью 1.

С практической точки зрения это означает, что почти все соотношения типа восстановления для таких процессов вполне корректны и могут использоваться безбоязненно. Доказательство приведенного выше результата, более подробное обсуждение строго марковского свойства для цепей Маркова с непрерывным временем и другие фундаментальные вопросы можно найти в книге Чжун Кай-лая [1].

ЗАДАЧИ

(см. скан)

(см. скан)

(см. скан)

ЗАМЕЧАНИЯ

Эта глава содержит лишь малую часть материала обстоятельной книги Чжун Кай-лая [1]. Основные идеи этой главы, развитые для случая общих марковских процессов, можно найти в книгах Дынкина [2] и Дуба [3].

ЛИТЕРАТУРА

(см. скан)