Глава 1. Марковские процессы принятия решений с переоценкой

1.1. Введение

Рассмотрим систему, у которой пространство состояний 5 содержит конечное число элементов. Пусть 5 совпадает с множеством целых чисел Каждому состоянию соответствует конечное множество решений (или альтернатив), элементы которого обозначим

Пространством политик К назовем прямое произведение множеств решений, т. е. Рассматривается задача принятия последовательных решений, состоящая в выборе решений при наблюдении текущих состояний в моменты

Если система находится в состоянии и принимается решение то 1) система получает доход ее состояние в следующий момент времени определяется вероятностным законом где вероятность того, что система из состояния при выборе решения попадает в состояние Предполагается, что доход ограничен при всех и Кроме того,

Рассмотрим процесс с переоценкой. Пусть коэффициент переоценки. Смысл его состоит в том, что единица дохода через время (например, дней) будет стоить единиц. Введение коэффициента переоценки с математической точки зрения ведет к ограниченности суммарного среднего дохода.

Зададим начальное распределение

где

Тогда система описывается неоднородной цепью Маркова с доходами. Будем искать стратегии, максимизирующие суммарный средний доход с учетом переоценки при конечном или бесконечном времени планирования, причем стратегия определяется, как последовательность решений, принимаемых в каждый момент времени во всех состояниях

В данной главе анализируются процессы принятия решений с переоценкой при бесконечном времени планирования, причем рассматривается задача максимизации (задача минимизации сводится к ней путем изменения знака у величин доходов).