§ 3. ПОСТРОЕНИЕ ЦЕПИ МАРКОВА С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ С ПОМОЩЬЮ ЕЕ ИНФИНИТЕЗИМАЛЬНЫХ ПАРАМЕТРОВ

Интересным и важным вопросом в теории цепей Маркова с непрерывным параметром является следующий. Предположим, что дано множество неотрицательных чисел обладающих свойством

(В целях единства обозначений мы иногда пишем вместо как это сделано выше.) Существует ли цепь Маркова, т. е. стандартная матрица переходных вероятностей для которой

Задача становится более определенной, если предположить, что

так как в этом случае известно, что любая цепь Маркова, связанная с должна удовлетворять по крайней мере обратным уравнениям.

Практическая важность этих вопросов покоится на том факте (как мы уже видели, в частности, для процессов рождения и гибели, см. гл. 7), что довольно часто цепь Маркова с непрерывным временем определена таким образом, что мы вынуждены выводить обратные уравнения. Затем следует попытка решить эти уравнения для того, чтобы вычислить полную функцию перехода процесса.

В настоящее время для общего случая не получены определенные результаты. Известно, что при условии

существует по крайней мере одна отвечающая этим параметрам переходная матрица и если их существует более одной, то существует и бесконечно много. Конечно, больше известно о частных видах матрицы например в случае процесса рождения и гибели. В этом частном случае известна полная классификация всех процессов, отвечающих заданной инфинитезимальной матрице. Эти процессы в основном отличаются поведением на границе, т. е. видом выборочных функций в Напомним читателю, что в частном случае процесса рождения и гибели матрица А должна удовлетворять условию (4.5) гл. 7 для того, чтобы процесс определялся единственным образом.

Для общего случая цепей Маркова с непрерывным временем задача классификации инфинитезимальной матрицы А и отвечающих ей процессов достаточно сложна, и мы лишь отошлем интересующегося читателя к соответствующей литературе (см. ссылки в конце данной главы).

Пусть для состояния выполняется условие Дадим теперь некоторую интерпретацию элементам матрицы А, аналогичную интерпретации, данной в случае процессов рождения и гибели величинам Напомним, что в этом случае мы формально доказали, что среднее время пребывания в состоянии вероятность перехода в состояние из состояния при условии совершения какого-либо перехода. Результаты для случая общей цепи Маркова с непрерывным временем аналогичные.

Пусть фиксировано, а произвольное положительное целое число. Предположим, что процесс начинается из состояния Тогда рассмотрим

Поскольку

то

Используя разложение логарифма вида верное при и где и затем переходя к пределу при получим

Но (см. гл. 1, стр. 18) вероятность

совпадает с

(при этом неявно предполагается, что процесс является сепарабельным), откуда видно, что вероятность пребывания в состоянии в течение отрезка времени, не меньшего равна

Другими словами, время пребывания процесса в состоянии имеет экспоненциальное распределение с параметром Это является строгим доказательством (в общем случае цепей Маркова с непрерывным временем) того, что было эвристически показано для частного случая процессов рождения и гибели (см. стр. 214).

Состояние для которого называется устойчивым. Оно называется поглощающим, если очевидно, если процесс перешел в такое состояние то он останется там навсегда. Конечно, в этом случае

для всех . С другой стороны, если то время пребывания в состоянии является случайной величиной, функция распределения которой есть «настоящая» экспонента, и, следовательно, выход из состояния осуществляется за конечное время.

Состояние для которого называется мгновенным. Среднее время пребывания в таком состоянии равно нулю. Наименование «мгновенное» обязано тому факту, что время

пребывания процесса в состоянии равно нулю, т. е., попадая в это состояние, процесс мгновенно его покидает.

Теория цепей Маркова с непрерывным временем, имеющих мгновенные состояния, крайне сложна, особенно при рассмотрении выборочных траекторий процесса. Дело усложняется еще тем, что марковские цепи могут состоять только из мгновенных состояний. Имеет смысл найти технические задачи, отвечающие таким примерам. Но в то же самое время утешительно сознавать, что почти все цепи Маркова с непрерывным временем, возникающие в приложениях, имеют только устойчивые состояния. Действительно, в большинстве случаев, представляющих интерес, изучаемый процесс обычно определяется инфинитезимальными характеристиками как известными данными. Чтобы завершить теорию, необходимо установить существование процесса (т. е. определить выборочные траектории и их вероятностные законы), обладающего заданной инфинитезимальной матрицей.

Наиболее элементарные учебники и обсуждения цепей Маркова с непрерывным временем избегают этого аспекта задачи (так же поступим и мы), делая упор преимущественно на нахождение функций распределения процесса и вычисление различных вероятностных характеристик, представляющих интерес. Вычисление переходной функции для всех традиционно сопровождается выводом обратных дифференциальных уравнений и, в лучшем случае, их решением. Такой подход был основой нашего рассмотрения процессов рождения и гибели (см. гл. 7).

В оставшейся части главы мы будем рассматривать цепи Маркова с непрерывным временем, имеющие лишь устойчивые состояния. Наша следующая задача — придать физический смысл параметрам Действительно, если процесс консервативен, то можно интерпретировать как условные вероятности того, что произойдет переход из состояния в состояние Чтобы показать это, рассмотрим

и найдем Он равен вероятности перехода из состояния в состояние при условии, что переход осуществляется. Далее, в силу определения имеем

Деля числитель и знаменатель на устремляя и используя результаты теорем 1.1 и 1.2, получаем искомую формулу

Если взять сумму от правой части (по то она будет равна 1, так как процесс консервативный.

Мы отметили выше, что для любых инфинитезимальных параметров удовлетворяющих может существовать одна или бесконечно много цепей Маркова с непрерывным временем, имеющих одну и ту же инфинитезимальную матрицу А. В случае консервативной инфинитезимальной матрицы (т. е. при всех существует один специальный процесс (минимальный процесс), для которого можно просто описать выборочные траектории. Построение минимального процесса для случая процессов рождения и гибели было показано в гл. 7, § 4. В общем случае метод остается тем же. Опишем кратко основные идеи этого построения для общего случая. Типичная реализация, начинающаяся из некоторого состояния, скажем имеет следующий вид. Возьмем выборку из экспоненциального распределения с параметром Она определяет время пребывания в состоянии и В конце этого интервала частица перемещается в состояние с вероятностью новом состоянии, скажем она пребывает случайное время (экспоненциально распределенное с параметром По окончании времени пребывания в состоянии она переходит в новое состояние с вероятностью там частица проводит случайное время с соответствующим экспоненциальным законом распределения, затем снова совершает переход и т. д. С помощью этой последовательной процедуры мы строим все возможные реализации процесса. Используя довольно глубокие методы теории меры, можно найти переходную функцию имеющую заданную инфинитезимальную матрицу.

Другой путь описания минимального процесса состоит в следующем. Переходная матрица определяется через

матрицы вероятностей различных переходов, совершаемых только за конечное число скачков. Более определенно: мы вводим в рассмотрение вероятность перехода из состояния в состояние за время и за число переходов, не превосходящее . В частности, в соответствии со смыслом инфинитезимальных параметров

и можно выписать рекуррентное соотношение, связывающее следующим образом.

Рассмотрим сначала . В соответствии с тем, произошел переход до момента или нет, возникают две возможности. Время пребывания в состоянии распределено экспоненциально с параметром так что с вероятностью перехода не происходит. Предположим, что первый переход произошел в интервале от до (вероятность этого события равна и что при этом состояние приняло значение (Вероятность этого последнего события равна Вероятность возвратиться в состояние в оставшееся время не более чем за переходов равна . В силу формулы полной вероятности имеем

С помощью аналогичного перечисления различных возможностей получим равенство

Можно показать, что

(см. ссылки в конце главы).

Здесь мы вынуждены принести извинения перед читателем за то, что ввели множество понятий, важных в теории марковских процессов, и почти не изучали их. Эти понятия содержат в себе много тонкостей и патологий, изучение которых далеко выходит за рамки этого учебника. Можно лишь надеяться, что читатель продолжит изучение этих вопросов по другим отличным книгам, рассматривающим данный предмет.