§ 14.6. Задачи о «двуруком бандите» с известным значением одного из параметров

В этом параграфе мы предположим, что статистик знает значение параметра Более точно, мы будем считать, что и что априорная о. в. п. параметра есть В этом случае, проводя наблюдения над , статистик не получает информации о неизвестном значении и апостериорное распределение параметра после наблюдения У совпадает с распределением до проведения этого наблюдения. Предположим поэтому, что на некотором шаге процесса оптимальным для статистика является проведение наблюдения над , а не над Тогда, независимо от значения этого наблюдения, он не может получить информацию, которая заставила бы его переключиться на наблюдение X на очередном шаге. Таким образом, согласно оптимальной процедуре, надо либо с самого начала проводить все наблюдения над , либо начать с наблюдения X и продолжать эти наблюдения, пока распределение является благоприятным или по крайней мере перспективным. Если статистик проводит первое наблюдение над X, то либо все наблюденные значения приведут к наблюдению X в течение всего процесса, либо на некотором шаге оптимальным будет переключиться на наблюдения над У. После такого переключения все дальнейшие наблюдения надо будет проводить над .

На каждом шаге процесса оптимальный выбор зависит лишь от текущего распределения параметра и числа наблюденийт которые осталось провести. Если число оставшихся наблюдений велико и о. в. п. для есть то статистику может оказаться полезным провести несколько первых наблюдений над X, если существует какой-нибудь шанс на то, что значение параметра благоприятно. С другой стороны, если до завершения процесса осталось небольшое число шагов, то проводить наблюдения над X может оказаться нецелесообразным для статистика.

Так как выбор статистика на первом шаге состоит в наблюдении X и последующем оптимальном продолжении или в проведении всех наблюдений над У, то соотношение (1) § 14.5 можно заменить следующим соотношением:

Нашу задачу можно трактовать как задачу об оптимальной остановке, поскольку статистику надо решить, не прекратить ли наблюдения над X и перейти к наблюдениям над У.

Рассмотрим теперь один пример. Пусть принимают значения 0 и 1 и при заданных значениях для таковы:

Предположим, что может принимать значения 0 и у и известно, что Допустим также, что априорное распределение параметра задается так:

Мы будем считать, что общее число проводимых наблюдений фиксировано.

Если в этой конкретной задаче значение наблюдения X есть 1, то статистик знает, что Поскольку то в этом случае оптимальное продолжение состоит в проведении всех оставшихся наблюдений над Поэтому оптимальная процедура имеет следующий простой вид. Статистик проводит первые наблюдений над Если при этом наблюдено хотя бы одно значение, равное 1, то все оставшиеся наблюдений надо проводить над . С другой стороны, если все значения первых наблюдений над X равны 0, то статистик должен провести оставшиеся наблюдений над У. Если включить еще возможность проведения всех наблюдений над У, что отвечает случаю то при некотором значении описанная процедура должна быть оптимальной.

Хотя вид оптимальной процедуры можно получить исходя из соотношения (1), мы воспользуемся здесь ее специальным видом и применим такой способ. Пусть обозначает сумму значений проведенных наблюдений. Пусть, далее, для всякого обозначает значение математического ожидания для описанной процедуры. Задача состоит в определении числа максимизирующего

Если то все наблюдений надо проводить над . Так как среднее значение каждого наблюдения есть , то

Рассмотрим теперь любое значение такое, что Пусть при всех обозначает событие, состоящее в том, что значения всех первых наблюдений над X равны 0, но наблюдение дало значение 1, а событие, состоящее в том, что все наблюдений над X дали значение 0. Тогда

Ясно, что при Поэтому Далее, при

наступлении события статистик знает, что ровно одно из первых наблюдений приняло значение 1 и что Так как каждое из оставшихся наблюдений производится тогда над X, то среднее значение суммы этих наблюдений равно Поэтому справедливо следующее соотношение:

Аналогично Следовательно, Если происходит событие то значение каждого из первых наблюдений равняется 0, а оставшиеся наблюдений проводятся над У. Среднее суммы значений этих наблюдений равно Поэтому справедливо равенство

Из (5) видно, что при значение дается формулой

Применяя теперь (4) и (8), получаем следующую формулу, верную для :

Правая часть (9) — убывающая функция от Поэтому будет максимально, когда наименьшее число, для которого выражение в правой части (9) отрицательно. Если это выражение неотрицательно для всех то максимизируется при

В частности, достигает максимума в точке тогда и только тогда, когда Таким образом, согласно оптимальной процедуре, все наблюдений надо проводить над У, если

В этом примере число можно трактовать как вероятность того, что X — более «благоприятная» величина. При статистик проведет хотя бы одно наблюдение над X, только если При он проведет по крайней мере одно наблюдение над X, если