6.4. Специальные случаи

В этом разделе вводятся понятия существенной конечности и счетности и для случая конечных множеств рассматриваются две процедуры улучшения планов (Ховарда [63] и Итона — Заде [53]).

Если А — счетное множество, то любой марковский план является -вырожденным, где Обратно, если — произвольный нерандомизированный марковский план, то при рассмотрении -вырожденных планов достаточно ограничиться случаем счетного интерпретируя выбор решения в состоянии как принятие в этом состоянии решения с номером Мы предпочитаем считать как и прежде в этой главе, произвольным борелевским множеством и ввести понятие «существенной счетности» следующим образом.

Определение 6.12. Два решения называются эквивалентными в состоянии если

Определение 6.13. Пусть произвольный марковский план. Множество А назовем существенно счетным относительно , если для каждой пары существует число такое, что эквивалентно решению а в состоянии 5.

Определение 6.14. Для любого марковского плана множество А будем называть существенно конечным относительно , если существует разбиение пространства 5 на борелевские множества такое, что для каждой пары где среди решений найдется хотя бы одно, эквивалентное решению а в состоянии

Теорема 6.7. а) Если множество существенно счетное относительно то неподвижная точка и оператора отвечающего плану является оптимальным доходом. Кроме того, оператор тождествен оператору и — единственное (ограниченное) решение уравнения оптимальности и для любого существует стационарный -оптимальный план.

б) Если множество существенно конечное относительно то существует стационарный оптимальный план.

Доказательство, а) для любых и, 5 выполняется равенство и (5), где Таким образом, Но для любого при некотором выполняется равенство и и (5), поэтому а значит и Следовательно Тогда из утверждения г) теоремы 6.6 следует выполнение неравенства и при всех Из того же утверждения вытекает существование стационарного плана для которого выполняется неравенство Этот план и является -оптимальным.

б) Пусть А — существенно конечное множество. Обозначим множество всех для которых число является минимальным среди таких, что (последовательность содержит лишь конечное число различных членов). Определим функцию так, чтобы при каждом

и всех Тогда Поскольку — неподвижная точка отображения то и является доходом процесса при плане и следовательно, план оптимален.

Случай конечных множеств был рассмотрен в гл. 1 при изучении марковских процессов принятия решений с переоценкой. Для нахождения оптимальных стратегий в рассматриваемом случае можно предложить две процедуры улучшения решений.

Теорема 6.8. а) (процедура Ховарда). Если то

б) (процедура Итона — Заде). Для любых функций огпображающих определим функцию следующим образом: для тех для которых для тех для которых Тогда

Доказательство, а) См. теорему 1.2. б) Для любой функции и

при таких, что

Таким образом, , а поэтому

Ссылки и комментарии

Основные результаты этой главы были получены Блекуэллом [16]. Лемма 6.1 принадлежит Блекуэллу [15] Результаты по оптимальным планам, сформулированные в теореме 6.6, тесно связаны с похожими результатами Дьюбинза и Сэвиджа [51] (теорема соответствует теореме 3.9.6, теорема соответствует теоремам 2.12.1, 3.3.1, а теорема — теореме 3.3.1).

Дальнейшее развитие эти проблемы получили у Штрауха [109] и Блекуэлла [17], которые рассмотрели как положительный, так и отрицательный доходы.

Другое обобщение марковских процессов принятия решений изучал Де Лёф [29], [30]. Ему же принадлежит и соответствующий итерационный алгоритм нахождения стратегий.

Процессы со счетными пространствами состояний и решений рассматривали Майтра [83] и Крылов [77], [131]. Случаи компактных или борелевских пространств состояний и решений изучали Майтра [151], Росс [154] — [156].