5.3. Полумарковские процессы с доходами

Примем следующую структуру доходов для полумарковских процессов. Определим как доход, получаемый за единицу времени пребывания процесса в состоянии т. е. если процесс находится в состоянии в течение времени то выплачивается доход

Рассмотрим сначала процесс с переоценкой. Поскольку время непрерывно, воспользуемся переоценкой экспоненциального вида с нормой а, т. е. если в некоторый момент времени выплачивается единичный доход, то через время этот доход будет стоить уже единиц. Тогда, если доход за единицу времени, то суммарный доход за время выразится в виде

Пусть -суммарный средний доход за время с учетом переоценки при условии, что процесс начинается в момент из состояния Тогда для можно написать следующее уравнение восстановления:

Так как суммарный средний доход с учетом переоценки сходится при к конечному значению, то положим

Переходя в уравнении (5.35) к пределу при получим

где значения преобразований Лапласа — Стилтьеса в точке функций соответственно. Пусть

и

тогда

или

так как при матрица невырожденная. Усредняя (5.41) по распределению а начального состояния, получаем

Обратимся к модели без переоценки. Для анализа такой модели с непрерывным временем можно предложить два подхода. При первом модель без переоценки считается предельным случаем (при модели с переоценкой При втором подходе непосредственно рассматривается стационарный средний доход за единицу времени.

Займемся первым подходом. Заметим, что из (5.41) и (5.15) следует

Предположим, что полумарковский процесс является эргодическим. Используя асимптотическое представление для и тот факт, что получаем

где

и предполагалось, что — конечная величина. Отметим, что стационарный средний доход за единицу времени, получается усреднением непосредственно ожидаемых доходов за единицу времени по предельному распределению состояний процесса (5.27).

Результат (5.44) обобщается на случай процесса с несколькими эргодическими классами. Именно, для всякого эргодического состояния принадлежащего некоторому эргодическому классу справедлив результат, аналогичный (5.44) с той лишь разницей, что суммирование в (5.45) и (5.46) должно проводиться только по состояниям

Таким образом, получаем

где -мерные векторы. Соотношение (5.47) является аналогом формулы (3.2), полученной для дискретного времени.

Перейдем теперь ко второму подходу. Пусть, как и прежде, -суммарный средний доход за время при условии, что процесс начинается в момент из состояния и Тогда удовлетворяет следующему уравнению восстановления:

Прежде всего предположим, что полумарковский процесс — эргодический. В этом случае можно говорить о среднем доходе за единицу времени, получаемом в стационарном режиме. Поскольку при первое слагаемое в правой части выражения (5.48) стремится к нулю (в силу того, что функция распределения обладает

конечным средним), то при достаточно больших имеем приближенное равенство

Первое слагаемое в правой части (5.49) стремится к при поэтому при достаточно больших получаем

Обозначим преобразование Лапласа — Стилтьеса функции Введем два -мерных вектора

Переходя в (5.50) к преобразованиям Лапласа — Стилтьеса, получаем

или

Используя (5.15), находим

Суммарный средний доход за время получаемый от процесса с начальным распределением а, равен где -мерный вектор с координатами

Так как то в силу тауберовой теоремы [119] имеем

Данный предел не зависит от начального распределения а и совпадает с найденным ранее (см. (5.45)).

Рассмотрим теперь процесс с поглощением. Будем интересоваться суммарным средним доходом, получаемым от процесса до момента поглощения. Без ограничения общности можно считать, что состояние -поглощающее, а состояния невозвратные при любом принимаемом решении. Пусть -суммарный средний доход, получаемый за время Тогда аналогично (5.48) можно написать следующие уравнения:

Кроме того, существуют пределы

так как поглощающее состояние достигается с вероятностью 1 из любого состояния за конечное время. Переходя в (5.56) к пределу при получаем

Введем векторы

и перепишем соотношения (5.58) в векторной форме

где -матрица, получающаяся из матрицы вычеркиванием первого столбца и первой строки. Таким образом,

где фундаментальная матрица поглощающей цепи Маркова с дискретным временем (см. [70]).

Поэтому выражение для суммарного среднего дохода, получаемого за время до момента поглощения процесса с начальным распределением а, имеет вид

где .

До сих пор доходы задавались с помощью величин Определим теперь более общую структуру доходов (см. [65]). Если процесс находится в состоянии и следующим состоянием будет то величина дохода определяется некоторой функцией где условное время пребывания в состоянии -время, прошедшее с момента попадания процесса в состояние Предположим, что и обозначим Условимся, что доходы от последовательных переходов складываются.

Для модели с переоценкой средний доход за один период пребывания в состоянии I при описанной выше структуре доходов имеет вид

что является аналогом формулы (5.38). Если положить то приходим к рассмотренной ранее структуре доходов.

Результаты для модели с общей структурой доходов без переоценки можно получить из найденных формул, устремляя а к нулю. При этом стремится к некоторой постоянной (см. [66]).

Далее мы ограничимся только простой структурой доходов, задаваемых постоянными