Глава 8. ЦЕПИ МАРКОВА С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ

Цель этой главы состоит в том, чтобы познакомить читателя с некоторыми из наиболее изученных вопросов и понятий, возникающих при исследовании цепей Маркова с непрерывным параметром (временем). Как и прежде, мы будем рассматривать лишь однородный случай.

§ 1. СВОЙСТВА ДИФФЕРЕНЦИРУЕМОСТИ ПЕРЕХОДНЫХ ВЕРОЯТНОСТЕЙ

Пусть марковский процесс с дискретным множеством состояний и непрерывным временем, матрица переходных вероятностей которого Таким образом,

Кроме обычных ограничений, накладываемых на переходную матрицу

предположим, что непрерывны при и что

(см. также задачу 3). Такую переходную матрицу часто называют «стандартной». Оказывается, что из условий можно получить гораздо больше следствий, чем можно было бы ожидать. Одним из таких результатов является дифференцируемость при всех Мы докажем лишь гораздо более простое утверждение, что функции дифференцируемы (т. е. имеют правосторонние производные) при Рассмотрим сначала

Теорема 1.1. При каждом предел

существует, но может быть бесконечным.

Доказательство. Покажем сначала, что при всех Действительно, в силу для любого существует число такое, что при Далее, путем последовательного применения (в) можно получить

Полагая и беря в правой части лишь члены, соответствующие получим

При достаточно больших очевидно, Следовательно, таким образом, Пусть Это определение корректно, поскольку Так же как и (1.2), можно доказать справедливость неравенства

Беря логарифм от обеих частей, получаем неравенство полуаддитивности для

Поскольку то Положим

Тогда так как при Если то существует для которого Для любого величину можно представить в виде где Тогда

и, таким образом,

Следовательно,

Но при имеем (поскольку при ). Отсюда

Далее, из определения

Комбинируя последние три неравенства, получаем

Поскольку произвольно, имеем

Если то можно вместо написать сколь угодно большое число и затем получить, что Таким образом, . В любом случае

Далее,

Теорема 1.2. Для любых предел

существует и конечен.

Доказательство. Для любого фиксированного является матрицей переходных вероятностей цепи Маркова Очевидно, Введем вероятности и

Тогда

поскольку каждое слагаемое в правой части соответствует некоторому возможному пути, ведущему из состояния в состояние за шагов (относительно шага длины эти пути несовместны, но, вообще говоря, не исчерпывают всех путей. Член является вероятностью события, заключающегося в том, что последнее попадание в перед попаданием в происходит на (Соотношение (1.3) также появлялось при обсуждении теорем для отношений в гл. 5.)

Далее, аналогичным образом получаем

Первое слагаемое есть вероятность достижения состояния на шаге без попадания до этого в состояние Члены, стоящие под знаком суммы, учитывают достижение состояния в некоторый промежуточный момент. Поскольку

то

Далее, из условия следует, что для любого и любых фиксированных существует число такое, что

Следовательно, если то из (1.4) получаем

Подставляя эту оценку в (1.3), находим

или

Положим

Тогда из (1.5) следует, что Действительно, если бы то можно было бы найти сколько угодно малое для которого сколь угодно велико. Выбирая так, чтобы из (1.5) мы бы получили, что можно сделать сколь угодно большим, но в то же самое время

Полученное противоречие доказывает, что Оставшаяся часть доказательства носит чисто аналитический характер и является следствием из (1.5). В силу определения существует такое, что

Поскольку непрерывна, можно найти настолько малое что

Далее, для любого определим целое число такое, что Тогда, используя (1.5) и (1.6), найдем

откуда заключаем, что

В силу произвольности получаем

Утверждение теоремы следует теперь из определения

Если взять в качестве примера процессы рождения и гибели, то

В общем случае

Действительно, поскольку

то для любого конечного

Деля на и устремляя получим неравенство

Поскольку произвольно, а все слагаемые неотрицательны, получаем требуемое утверждение.