§ 13.15. Супермартингалы и общие задачи об оптимальной остановке

Как было показано в работах Снелла (1952), Хаггстрома (1966) и Чернова (1967а), супермартингалы и регулярные супермартингалы можно использовать для описания оптимальнкх правил остановки и их средних выигрышей в совершенно общей ситуации. Рассмотрим общую задачу об оптимальной остановке с последовательностью наблюдений и последовательностью выигрышей в предположении существования Положим и потребуем, чтобы

Пусть, далее, будет функцией от первых пнаблюдений, и предположим, что супермартингал относительно последовательности с вероятностью 1. Предположим еще, что если другой супермартингал относительно последовательности такой, что с вероятностью 1, то с вероятностью 1. В таком случае говорят, что минимальный супермартингал (для Если в этом определении предположение о том, что последовательности являются супермартингалами, заменить предположением о том, что они суть регулярные супермартингалы, то последовательность называется минимальным регулярным супермартингалом. Можно доказать, что минимальный супермартингал и минимальный регулярный супермартингал существуют. Следующая теорема показывает, что они удовлетворяют тому же функциональному уравнению, что и средний выигрыш для оптимального правила остановки.

Теорема 1. Если последовательность является минимальным супермартингалом или минимальным регулярным супермартингалом, то при с вероятностью 1 справедливо соотношение

Доказательство. Мы приведем доказательство для случая минимального регулярного супермартингала; для минимального супермартингала доказательство проводится так же. Поскольку супермартингал и то при с вероятностью 1 выполняется неравенство

Предположим, что при некотором значении скажем при вероятность строгого неравенства в (2) положительна. Зададим последовательность следующим образом:

Из этого определения и из результата упр. 28 можно вывести, что последовательность образует супермартингал

относительно последовательности Это регулярный супермартингал, потому что регулярным является супермартингал при Наконец, при вероятность того, что равна 1. При однако, вероятность строгого неравенства в (2) положительна. Значит, положительна и вероятность неравенства что противоречит предположению о том, что минимальный регулярный супермартингал. Итак, при с вероятностью 1 соотношение (2) является равенством.

Если средний выигрыш для оптимального правила остановки при условии, что наблюдены значения то удовлетворяет функциональному уравнению вида (1), Следовательно, в тех случаях когда это уравнение имеет единственное решение, при . В работах, упомянутых в начале этого параграфа, показано, что последовательность оптимальных средних выигрышей при весьма общих условиях образует минимальный регулярный супермартингал.