5.2. Полумарковские процессы

По-видимому, впервые полумарковские процессы рассматривались Леви, Смитом и Такачем в 1954 г.

Пусть имеется система с конечным множеством состояний. Определим случайный процесс следующим образом: если в момент система находится в состоянии Будем состояния системы обозначать малыми числами (мы рассмотрим только случай конечного хотя некоторые результаты остаются справедливыми и при счетном

Вероятности переходов в моменты скачков определяются стохастической -матрицей которая задает так называемую вложенную цепь Маркова, где вероятность перехода из состояния в состояние Если процесс из состояния перейдет в состояние то время пребывания процесса в состоянии случайная величина с функцией распределения

При любых определим функцию совместную вероятность того, что длительность пребывания процесса в состоянии не превосходит и из состояния процесс переходит в состояние

Эти функции удовлетворяют условиям

Введем -матрицу состоящую из элементов которую назовем матрицей переходных распределений. Определим функцию

являющуюся безусловной функцией распределения времени пребывания процесса в состоянии Пусть а — начальное распределение вектор):

где

Так определенный случайный процесс является полумарковским и задается тройкой

Наряду с введенным выше полумарковским процессом можно рассмотреть -мерный случайный процесс

называемый процессом марковского восстановления, координата которого представляет собой число попаданий исходного процесса в состояние за время

Полумарковский процесс называется регулярным, если за конечный промежуток времени он с вероятностью 1 побывает в любом состоянии не более конечного числа раз, т. е. если Для каждого и любого Таким образом, регулярный полумарковский процесс за конечный промежуток времени всегда совершает лишь конечное число переходов. Далее мы будем иметь дело только с регулярными полумарковскими процессами.

Определим

— вероятность того, что в момент система находится в состоянии при условии, что в начальный момент она находилась в состоянии

Пусть

где означает операцию усреднения. Функция является распределением времени первого достижения состояния из состояния -средним числом попаданий процесса в состояние в промежутке времени от до при начальном состоянии Величина

является функцией восстановления, играющей важную роль в теории восстановления (см., например, [24], [108]).

Стандартными для теории восстановления рассуждениями получаем

где символ обозначает операцию свертки. Чтобы решить написанные выше уравнения относительно воспользуемся преобразованием Лапласа — Стилтьеса. Будем обозначать строчными буквами преобразования Лапласа — Стилтьеса соответствующих функций, например, -преобразование функции Далее, введем две -матрицы с элементами соответственно.

Переходя в (5.12), (5.13) и (5.14) к преобразованиям Лапласа — Стилтьеса и разрешая каждое из уравнений относительно соответствующей функции, получаем

Искомые функции можно получить, обращая соответствующие преобразования.

Будем классифицировать состояния полумарковского процесса в соответствии с обычной классификацией состояний конечной цепи Маркова (см., например, [70]) вложенной в данный полумарковский процесс. Назовем состояния сообщающимися, если Отношение сообщаемости является отношением эквивалентности.

Пусть

и

— средние значения функций соответственно, которые предполагаются конечными.

Обозначим и соответственно первый и второй моменты функции С помощью несложных рассуждений можно получить следующие соотношения:

где

Если вложенная марковская цепь является эргодической, то, вводя для этой цепи стационарные вероятности получаем

где и — соответственно первый и второй моменты времени возвращения в состояние у.

Рассмотрим финальную (или стационарную) вероятность . В общем случае имеем

В частности, если полумарковский процесс является эргодическим, то из условий для всех и соотношения (5.24) получаем равенство

в котором правая часть не зависит от начального состояния

В общем случае также можно найти для любых таким образом, получить финальные вероятности для всех однако соответствующие выкладки не приводятся.

Пусть — среднее время до поглощения процесса, начинающегося из переходного состояния (под поглощением понимается попадание процесса в некоторое эргодическое состояние). Тогда имеем

Пусть вектор-столбцы, элементами которых являются и соответственно, где Тогда

или

где подматрица матрицы получающаяся из вычеркиванием строк и столбцов, соответствующих эргодическим состояниям.

В заключение рассмотрим предельное поведение функций восстановления Из (5.16) получаем

Если состояния принадлежат одному эргодическому классу, то, разлагая в точке получаем для малых

Отсюда в силу тауберовой теоремы (см. [119], стр. 192) имеем

Полученный результат является обобщением элементарной теоремы восстановления (см., например, [108]). Отметим, что если полумарковский процесс — периодический, то пределы в выражениях (5.26), (5.27), (5.30), (5.31) понимаются в смысле Чезаро; если же полумарковский процесс — непериодический, то пределы понимаются в обычном смысле.