§ 13.18. Задачи с входной платой

Вернемся к общей постановке задачи. При этом ввиду результатов § 13.17 будем считать, что множество пусто. Мы преобразуем заданную задачу об оптимальной остановке в эквивалентную задачу, где функция выигрыша тождественно равна нулю. Пусть функция выигрыша в данной задаче и для всякого состояния математическое ожидание есть

Потребуем, чтобы интеграл в (1) существовал при всех . Рассмотрим теперь задачу с функцией выигрыша V и функцией стоимости с, имеющими следующий вид. Для каждого состояния выиирыш и

Цена с определенная посредством формулы (2), является разностью между выигрышем от окончания процесса выбора в состоянии в исходной задаче и средним выигрышем от проведения ровно одного очередного наблюдения с последующим окончанием выбора.

Пусть стационарное правило остановки с множеством точек остановки Предположим, что если правило остановки

применяется в исходной задаче при любом начальном состоянии то средний выигрыш конечен. Если то процесс заканчивается и Если же то уплачивается цена наблюдения с и процесс переходит в новое состояние средний выигрыш в котором есть Поэтому функция V удовлетворяет соотношению

Предположим также, что для правила остановки средний выигрыш в преобразованной задаче конечен. Тогда для функции имеем:

Прибавляя значение к обеим частям (4) и применяя (2), видим, что функция удовлетворяет соотношению (4) тогда и только тогда, когда функция удовлетворяет соотношению (3). Поэтому для всякого начального состояния и всякого правила остановки средний выигрыш в преобразованной задаче равен среднему выигрышу в исходной задаче минус Таким образом, новая и исходная задачи эквивалентный оптимальное правило остановки в обеих задачах одинаково.

Новая задача типа только что рассмотренной с тождественно равной нулю функцией выигрыша называется задачей с входной платой. В таких задачах статистик должен платить некоторую цену, или входную плату, на каждом шаге за право наблюдать процесс в очередном состоянии. При окончании же процесса статистик не получает ничего. При этих условиях проведение некоторых наблюдений может быть выгодно, поскольку некоторые из входных плат отрицательны.

В ряде случаев решение задачи с входной платой имеет простой вид. Рассмотрим такую задачу с функцией стоимости, равной с. Без ограничения общности можно считать, что множество пусто. В случае когда с при некотором статистику заведомо надо продолжать выбор, если процесс находится в состоянии Он выигрывает сумму от продолжения и может всегда без дополнительных затрат остановиться после очередного перехода. С другой стороны, если процесс находится в некотором состоянии и не может попасть в состояние то оптимальным является прекращение выбора. Мы установили тем самым следующую теорему.

Теорема 1. Рассмотрим задачу с входной платой, где функция стоимости равна с, а множество пусто. Пусть — множество всех состояний Если из каждого состояния,

принадлежащего 5, можно перейти только либо в состояние из либо в состояние из то оптимальным является завершение выбора, как только достигается состояние из

Теорема 1 аналогична теореме 1 § 13.14 в том отношении, что она утверждает просто, что если единственно возможными переходами из неблагоприятных состояний являются переходы в неблагоприятные же состояния, то оптимальным является следование «близорукому» правилу, предписывающему продолжать процесс только в тех случаях, когда статистик получает от этого немедленный выигрыш. Мы уже рассмотрели несколько задач, в которых это недальновидное правило оптимально. Другие приведены в примере § 13.17 (см. также упр. 32) и упр. 33.