§ 46. Примеры марковских процессов

Попытаемся применить теорию, изложенную в нескольких предыдущих параграфах, к марковским процессам, соответствующим переходным функциям, о которых говорилось в § 35 и § 40.

Пример 1. Марковский процесс с конечным числом состояний. Прежде всего поговорим о примере 1 § 35 (или примере 1 § 40). Оставим те же обозначения только с одним отличием: точки будем обозначать через Выборочная функция выходящая из I, имеет разрывы только первого рода и принимает значения поэтому она — обязательно ступенчатая функция. Следовательно, если процесс начинается из I, то он происходит следующим образом: некоторое время система находится в затем переходит в другое состояние находится там некоторое время, переходит в новое состояние k и т. д. Так как одну точку можно рассматривать как открытое множество, то Иначе говоря, не может быть мгновенной точкой. Поэтому является задерживающей или поглощающей точкой. Так как в случае поглощающего состояния равно 0, каково бы ни было то имеем

Если это — задерживающая точка, исходя из этого, можно доказать, что между имеет место соотношение

Из определения А вытекает, что для малых значений

Кроме того, по смыслу

Здесь вероятность того, что система, покинув один раз I и возвратившись опять в это состояние, в момент находится в чтобы это случилось, необходимы по крайней мере два скачка, поэтому эта величина равна самое большее (строго это можно доказать, используя

строго марковское свойство). Поэтому (46.3) принимает вид

сравнивая это с (46.2), получаем Из-за непрерывности справа -новая точка, куда система переместилась из Отсюда вытекает, что система в момент находится в одной из точек отличных от с вероятностями, задаваемыми формулой

Действительно, имеем

Для достаточно большого вероятность того, что есть по крайней мере два скачка в одном и том же отрезке произвольно мала (так как — ступенчатая функция, то скачков до момента конечное число); поэтому

Пользуясь марковским свойством, получаем

Но

поэтому

Устремляя к бесконечности, получаем (46.5).

Таким образом, изменение происходит следующим образом. Отправляясь из система после экспоненциального времени пребывания со средним переходит в состояние с вероятностью При этом в случае, когда поглощающее состояние. После того как система перешла в состояние она снова аналогичным образом переходит в другое состояние Если система таким образом приходит в поглощающее состояние, то остается там навсегда.

Используя теорему Дынкина, мы можем непосредственно получить формулы (46.1), (46.5). В качестве открытого множества, приближающего можно взять само Достаточно рассмотреть случай, когда не поглощающее состояние. Очевидно, что время пребывания в экспоненциальное; пусть его среднее равно т. е. его распределение задается формулой Если обозначить через то это соответствует мере введенной в § 45. Поэтому

С другой стороны,

Сравнивая эти формулы, получаем

что совпадает с (46. 1), (46. 5).

Пример 2. Винеровский процесс. Пусть - винеровский процесс, Положим, по определению,

Тогда получим систему вероятностных процессов на Это — марковский процесс, переходная функция которого есть

В дальнейшем мы будем называть этот марковский процесс марковским процессом, управляемым винеровским процессом или просто винеровским процессом. Это — диффузионный процесс.

Пример 3. Винеровский процесс с отражающим экраном в 0. Если положить, по определению, для предыдущего примера

то это — марковский процесс, соответствующий примеру 3 § 35 (или, что то же самое, примеру 3 § 40). Это — также диффузионный процесс.

Пример 4. Вращение на окружности. Рассмотрим вращательное движение в положительном направлении со скоростью 1 по окружности длины 1. Задавая точки на окружности действительными числами по это движение можно определить формулой

Это — марковский процесс, соответствующий переходной функции

(см. пример 4 § 40). Это — также диффузионный процесс, но если дано начальное значение а, то, независимо от равно поэтому это — детерминированный процесс.

Пример 5. Рассмотрим винеровский процесс (пример 2) по тогда получим марковский процесс на окружности. Его называют винеровским процессом на окружности. Это — также диффузионный процесс (см. пример 5 § 40).