§ 8. ЦЕПИ МАРКОВА С КОНЕЧНЫМ ЧИСЛОМ СОСТОЯНИЙ И НЕПРЕРЫВНЫМ ВРЕМЕНЕМ
Марковская цепь с непрерывным временем 
является марковским процессом с состояниями 
Предположим, как обычно, что переходные вероятности стационарны, т. е.
В этом параграфе мы рассмотрим лишь случай, когда пространство состояний 
конечно, 
Некоторые проблемы, касающиеся цепей Маркова с бесконечным числом состояний и непрерывным временем, рассмотрены в следующей главе.
Марковское свойство требует, чтобы 
удовлетворяли условиям:
и мы требуем, кроме того, чтобы выполнялось условие
Если обозначить через 
матрицу 
то условие (в) можно записать более компактно в матричных обозначениях
Условие (
) говорит о непрерывности 
при 
поскольку из (8.2) следует, что 
(I — единичная матрица). Из (8.2) вытекает, что 
непрерывна при всех 
. В самом деле, если 
в (8.2), то в силу (г) имеем
С другой стороны, при 
запишем (8.2) в виде
Но 
при достаточно малых 
близка к единичной матрице. Поэтому 
(обратная матрица к 
) существует и также близка к 
Следовательно,
Предельные соотношения (8.3) и (8.5) показывают, что 
непрерывна.
В теоремах 1.1 и 1.2 гл. 8 доказано, что в общем случае для цепей Маркова с бесконечным (счетным) числом состояний и непрерывным временем существуют пределы
где 
всегда конечны, 
определены, но могут принимать бесконечные значения. Возможность 
не может осуществиться в случае марковской цепи с конечным числом состояний и непрерывным временем. Действительно, запишем соотношение
разделим его на 
и устремим 
получим
откуда следует конечность 
Предполагая справедливым (8.6), найдем точное выражение для 
через инфинитезимальную матрицу
Предельные соотношения (8.6) запишем в матричном виде
С помощью этой формулы и равенства (8.2) находим
Предел правой части существует, и, таким образом, получаются матричные дифференциальные уравнения
где 
матрица с элементами 
Существование 
является очевидным следствием (8.7) и (8.8).
Уравнения (8.9) можно решать при начальном условии 
стандартными методами теории обыкновенных дифференциальных уравнений. Получим
Практически мы находим собственные значения 
матрицы А и полную систему соответствующих им правых собственных векторов 
если это возможно (см. приложение в конце данной книги). Затем мы пользуемся представлением
где 
матрица, столбцами которой являются соответственно векторы 
диагональная матрица
Строки матрицы 
можно рассматривать как полную систему левых собственных векторов, биортогональных к 
Применения формул (8.10) или (8.11) рассматриваются в задачах 18, 20 и 21 к данной главе.
ЗАДАЧИ
(см. скан)
(см. скан)
НЕКОТОРЫЕ ЭЛЕМЕНТАРНЫЕ ЗАДАЧИ
(см. скан)
ЗАМЕЧАНИЯ
Пуассоновские процессы и процессы рождения и гибели играют фундаментальную роль в теории и приложениях, охватывающих модели создания запасов и массового обслуживания, рост
популяций, технические системы и т. д. Элементарные обсуждения пуассоновских и родственных им процессов можно найти в любом учебнике по случайным процессам.
ЛИТЕРАТУРА
(см. скан)
