Глава 5. Полумарковские процессы принятия решений

5.1. Введение

Рассмотрим процессы, для которых длительности пребываний в каждом состоянии являются случайными величинами, а сами решения принимаются в случайные моменты времени, т. е. процессы принятия решений с непрерывным временем.

Здесь мы ограничимся полумарковскими процессами принятия решений, частным случаем которых являются марковские модели с непрерывным временем, изучавшиеся Ховардом [63].

Полумарковский процесс или, как его иногда называют, процесс марковского восстановления сочетает в себе свойства марковских процессов и процессов восстановления. Грубо говоря, полумарковский процесс — это такой случайный процесс, который переходит из одного состояния в другое в соответствии с заданными распределениями вероятностей, а время пребывания процесса в каком-либо состоянии является случайной величиной, распределение которой зависит как от этого состояния, так и от состояния, в которое будет осуществлен следующий переход процесса. Процесс восстановления, цепь Маркова с дискретным временем и однородный марковский процесс с непрерывным временем являются частными случаями полумарковского процесса. Так, процесс восстановления — полумарковский процесс с одним состоянием. Марковская цепь с дискретным временем — полумарковский процесс, у которого длительности пребываний в каждом из состояний равны единице, а однородный марковский процесс с непрерывным временем есть полумарковский процесс, у которого время пребывания в каждом состоянии имеет показательное распределение, зависящее лишь от номера этого состояния.

Далее в разделе 5.2 изучаются свойства полумарковских процессов, а в разделе 5.3 рассматриваются полумарковские процессы с доходами. Затем вводятся полумарковские процессы принятия решений и показывается, что некоторые задачи для таких процессов с переоценкой и без переоценки можно сформулировать в виде задач линейного программирования, которые решаются с помощью итерационных алгоритмов.