Главная > Разное > Марковские процессы принятия решений
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

Глава 3. Марковские процессы принятия решений без переоценки II

3.1. Введение

Следуя Денардо и Фоксу [33], будем различать следующие четыре типа моделей без переоценки.

1. Случай одного эргодического класса (при любой стратегии все состояния принадлежат единственному эргодическому классу).

2. Простой случай с одной цепью (при любой стратегии имеется единственное эргодическое множество и множество невозвратных состояний, быть может, пустое, зависящее от стратегии).

3. Общий случай с одной цепью (при оптимальной стратегии имеется единственное эргодическое множество невозвратных состояний, быть может, пустое).

4. Случай нескольких цепей (несколько эргодических множеств и невозвратных состояний, которые могут меняться в зависимости от стратегии).

Случай одного эргодического класса изучался в гл. 2. В этой главе будет обсуждаться модель общего вида без переоценки. Поскольку в силу теоремы 2.1 существует стационарная оптимальная стратегия, максимизирующая средний доход, достаточно ограничиться рассмотрением лишь стационарных стратегий. Для рассматриваемых моделей мы найдем -оптимальные стратегии (определение см. ниже), совпадающие со стратегиями, которые максимизируют не только средний доход, но и слагаемое, характеризующее смещение. В разделе 3.2 приводится итерационный алгоритм для нахождения оптимальной стратегии и обсуждаются свойства -оптимальных стратегий, а в разделе 3.3 — итерационный алгоритм для нахождения -оптимальной стратегии. В разделе 3.4 для общего случая формулируется задача линейного программирования и показывается, что двойственная к ней задача соответствует итерационному алгоритму нахождения стратегий.

<< Предыдущий параграф Следующий параграф >>
Оглавление