ОПТИМАЛЬНЫЙ ХАРАКТЕР ПОСЛЕДОВАТЕЛЬНОГО КРИТЕРИЯ ОТНОШЕНИЙ ВЕРОЯТНОСТЕЙ

А. Вальд и Дж. Вольфовиц

1. Краткое содержание.

Пусть есть какой-либо последовательный критерий отношений вероятностей для выбора между двумя простыми, альтернативами другой критерий для этой же самой цели.

Введем обозначения вероятность в критерии отвергнуть верную гипотезу среднее число наблюдений, необходимых для принятия решения в критерии если гипотеза истинна (предполагается, что существует).

В этой статье будет доказано, что если

то

Это значит, что из всех критериев одной и той же мощности последовательный критерий отношений вероятностей

требует в среднем наименьшее число наблюдений. Этот результат предвиделся ранее.

2. Введение.

Пусть две различные функции плотности вероятности или (в дискретном случае) две вероятностные функции (в этой статье индекс всегда будет принимать значения или 1). Пусть Лесть случайная величина, распределение вероятностей которой есть или но какое именно — неизвестно. Необходимо выбрать одну из гипотез или обозначает гипотезу, что есть распределение вероятностей X) на основе независимых наблюдений величины X, где есть конечная случайная величина, определенная для почти каждой бесконечной последовательности

т. е. конечна с вероятностью единица при Определение одновременно с правилом выбора или и составляет последовательный анализ.

Последовательный критерий отношений вероятностей определяется при помощи двух положительных чисел следующим образом. Положим для краткости

Тогда если

и

Если то принимается гипотеза Ни если же

В, то принимается гипотеза

В этой статье ограничимся рассмотрением таких последовательных критериев, для которых существует, где математическое ожидание числа когда верна (т. е. когда есть распределение вероятностей

Стейном было доказано, что все последовательные критерий отношений вероятностей относятся к этому классу. Целью настоящей работы является доказательство результата, сформулированного в первом пункте. В процессе доказательства сделаем предположение, что априорная вероятность того, что верна гипотеза равна будем в дальнейшем записывать

Многие статистики считают, что в большинстве практически важных задач не существует никакого априорного распределения вероятностей; если же оно существует, то оно часто неизвестно, и статистические выводы все равно приходится делать без него. Мы разделяем эту точку зрения. Введение в этой работе априорного распределения есть чисто технический прием, который не имеет отношения к методологии статистики, и читатель убедится, что это так. Также будем полагать, что Пусть с — заданные положительные числа. Положим

и назовем средним риском, связанным с критерием S и заданным (очевидно, есть функция Будем говорить, что принимается если принимается решение, что есть распределение вероятностей Мы скажем, что отвергается, если принимается и наоборот. Заметим, что можно рассматривать как величину потерь, понесенных статистиком, отвергнувшим гипотезу когда она истинна, — как стоимость единичного наблюдения, как средние потери, связанные с заданным априорным распределением и критерием S. Формально это просто некоторые величины, с которыми будем оперировать в процессе доказательства.

3. Роль отношения вероятностей.

Пусть и с фиксированы. Пусть S есть заданный последовательный критерий с риском и «функцией объема выборки» Пусть есть «решающая» функция. Эта функция принимает лишь значения и 1 и используется следующим образом: если есть выборочная точка, то гипотеза с индексом отвергается. Определим следующую решающую функцию

когда и когда Когда можно по желанию брать равным или 1.

Необходимо помнить, что всякая решающая функция есть однозначная функция от При этом заметим, что:

а) Интересующие нас свойства критерия не зависят от изменения критерия на множестве точек вероятности нуль при обеих гипотезах т. е. изменение определения на решающей функции (или не изменяет В частности, это относится к среднему риску

б) Множество точек, для которых и X неопределена, имеет вероятность нуль при обеих гипотезах

Во всех последовательных критериях, которые мы будем в дальнейшем рассматривать, условимся полагать всякий раз, когда

В силу вышенаписанного это произвольное условие не может изменить

Пусть

Имеем

где обозначает математическое ожидание совместного распределения т. е. есть оператор

Если событие имеет положительную вероятность при или при то для будем иметь

Следовательно, если решающая функция связанная с критерием будет заменена решающей функцией то уменьшится. Поскольку нашей целью является сделать возможно меньше, в дальнейшем будем рассматривать только критерии, для которых является решающей функцией, если не оговорено противное.

Функция пока еще не определена при Удобное для наших целей определение будет дано в следующем разделе. остается одним и тем же для всех определений.

Таким образом, является функцией лишь X или, что при фиксированном то же самое, лишь Определим

Сейчас будет доказана

Лемма 1. Пусть заданы Существует последовательный критерий для которого средний риск минимален. Функция объема выборки для этого критерия может быть определена при помощи соответствующим образом выбранного подмножества К неотрицательных чисел. Именно для каждого со рассмотрим связанную с ним последовательность

и обозначим через наименьшее целое число, для которого Тогда Функция может быть не определена на множестве точек вероятности нуль при

Пусть произвольная точка некоторого -мерного евклидова пространства конечно), обладающая лишь тем свойством, что отличны от нуля. Пусть Пусть, далее, есть любой последовательный критерий, для которого при любой , первые координат которой такие же, что и у а, и для которого здесь условное математическое ожидание величины соответствующей критерию А при условии, что первые координат такие же, как и у а. Для краткости, обозначим через О множество точек для которых выполняется вышеприведенное условие, т. е. первых координат которых такие же, как и у а. Наконец, пусть есть условное математическое ожидание величины соответствующей критерию при условии, что принадлежит множеству О. Мы знаем, что зависит только от Запишем

Пусть есть произвольная точка, для которой

Пусть есть последовательный критерий, в котором для любой первые координат которой такие же, что и причем Пусть

Докажем, что Таким образом, мы можем писать

Предположим, что Пусть есть такой критерий типа что

Определим теперь другой последовательный критерий типа следующим образом. Пусть

есть любая последовательность, для которой Тогда для последовательности

положим Решающая функция соответствующая может быть определена следующим образом:

Так как то

а это противоречит определению Подобное же противоречие получается, если Следовательно, что и требовалось доказать.

Определим К таким образом, чтобы оно содержало все числа для которых существуют точки а, обладающие свойством Сейчас докажем, что критерий определенный в соответствии с леммой, обладает наименьшей величиной Напомним, что средний риск есть математическое ожидание величины Пусть 5 есть некоторый другой критерий. Пусть произвольная последовательность, для которой или

или но Мы исключаем тривиальный случай, когда вероятность появления этого события при обеих гипотезах равна нулю. Пусть Последовательность а может принадлежать к одному из трех типов:

1) . Следовательно, С точки зрения уменьшения среднего риска выгодно прекратить проверку, так как

2) . Следовательно, Если т. е. верхняя грань действительно достигается при критерии 5, то все равно, прекратить ли проверку с или продолжать ее в соответствии с 5. Если, однако, то ясно, что невыгодно продолжать проверку, согласно критерию . Случай невозможен, так как

3) Следовательно, Очевидно, с точки зрения уменьшения среднего риска, не следует обрывать процесс последовательного критерия, и необходимо Продолжить его по крайней мере на одно наблюдение. После одного дополнительного наблюдения попадаем либо в случай 1, либо 2, когда выгодно прекратить проверку, либо опять в случай 3, когда выгодно проделать еще одно наблюдение.

Таким образом, минимально, что и требовалось доказать.

4. Основная лемма.

Рассмотрим дополнение множества К на положительной полуоси и вычеркнем из него все точки V% для которых не существует точек а в -мерном евклидовом пространстве, обладающих свойством Точки 1 никогда не должны рассматриваться, как точки типа т. е. точки 1 никогда не должны вычеркиваться. Полученное множество обозначим К.

Доказательство теоремы, которой посвящена настоящая работа, будет основываться на следующей лемме.

Лемма 2. Пусть заданы а множество К определено выше. Тогда существуют два положительных числа такие, что

Прежде чем приступить к доказательству, сделаем два замечания.

1) Мы сейчас можем дополнить определение для критериев типа Читатель помнит, что определяется неоднозначно для т. е. когда Лемма 2 показывает, что нужно определить только для поэтому X есть А или Определим как или 1, смотря по тому, равняется ли А или В. Это просто удобное определение, которое устраняет неоднозначность. Когда ситуация тривиальна и можем положить, например,

2) Если то в силу последней леммы средний риск будет минимальным (для заданных конечно), если не производить ни одного наблюдения. Полагаем или 1, соответственно при или .

Доказательство леммы. Пусть есть некоторая точка из К. Докажем, что любая точка для которой существует точка а в некотором -мерном евклидовом пространстве, такая, что также принадлежит К. Подобным же образом можно доказать, что если есть некоторая точка из К, то любая точка для которой существует точка в некотором -мерном евклидовом пространстве, такая, что также принадлежит Этим лемма и будет доказана.

Итак, пусть выбраны, как указано выше. Пусть есть последовательный критерий, основанный на К, с решающей функцией Пусть а есть точка в -мерном пространстве, для которой Так как то

Сейчас введем несколько отличный от S последовательный критерий S с решающей функцией, которая может отличаться от следующим образом. Возьмем а, определенное

выше; запишем

Пусть

есть некоторая последовательность, для которой Для последовательности

положим Решающую функцию связанную с 5, определим равенством

Очевидно,

и

Кроме того, имеем

Так как

то мы должны иметь

Из следует, что

Соотношения (4.1), (4.2), (4.4), (4.5) и (4.6) показывают что величина правой части (4.3) увеличивается, если там заменить на и соответственно. Это и доказывает лемму.

Если существуют значения, которые не может принимать, то пара чисел В, А может оказаться не единственной.

Для удобства определим Ли В единственным образом так. как указано ниже. В дальнейшем будем придерживаться этого определения.

Для этого сначала определим для всех положительных А, причем это определение должно согласовываться с предыдущим определением, по которому была определена только для тех значений А, которые может принимать Пусть А есть произвольное положительное число и есть произвольный последовательный критерий, обладающий следующими свойствами.

Для положим

Для сохраним прежнее определение. Таким образом, определена для всех положительных А. Это определение совпадает с прежним определением в случае, когда оно применимо. Заметим, что операция взятия верхней грани в (4.10) производится лишь по критериям, зависящим только от отношения вероятностей, как это следует из (4.7); но выводы леммы 1 показывают, что это ограничение не уменьшает верхней грани. Может показаться, что для определена неоднозначно, однако, как мы скоро увидим, это не так.)

Величина зависит, конечно, от Чтобы подчеркнуть это, будем писать Легко убедиться, что

Вообще для любых положительных величин имеем и — некоторые функции Таким образом, если имеет значение, которое не может принимать отношение вероятностей, любое допустимое значение, мы можем интерпретировать величину как величину у, соответствующую некоторым, подходящим образом подобранным, априорным вероятностям

Теперь определим А как нижнюю грань всех точек для которых как верхнюю грань всех точек для которых Если для всех А, то это определение дает

Выводы леммы 2 показывают, что есть монотонно возрастающая функция в интервале и монотонно убывающая функция в интервале

Теперь определим последовательный критерий для всех положительных А. Решающей функцией будет тогда (и только тогда), когда член последовательности

является первым элементом 0. Мы видим, что

для всех А. Между прочим, этим доказано, что однозначно определена при

Докажем следующую лемму.

Лемма 3. Функция обладает следующими свойствами:

a) она непрерывна для всех А,

Доказательства требуют только свойства а) и с), так как свойство является тривиальным следствием утверждения а) и определения

Пусть любая точка, неравная и пусть любая точка в окрестности В окрестности оба и ограничены. Пусть две произвольные точки из достаточно малой окрестности которая будет определена ниже. Будем рассуждать так же, как при доказательстве леммы 2, полагая, что соответствует леммы соответствует леммы соответствует леммы 2. Поскольку и непрерывные функции ограниченные функции то для достаточно малой окрестности

Меняя ролями получаем, что в этой же окрестности

и, следовательно,

Так как А произвольно, то отсюда вытекает непрерывность везде, за исключением, быть может,

Чтобы рассмотреть точку будем рассуждать следующим образом. Используя вышеприведенное доказательство и определения (4.9), (4.10), можно доказать, что непрерывна справа в точке Используя в точке определение при т. е.

а также (4.10) и (4.11), можно доказать, что непрерывна слева от Это доказывает утверждение

Докажем с). Предположим, что для имеет место Так как

то будем иметь

Тогда при помощи рассуждений, подобных тем, которые были использованы при доказательстве леммы 2, можно показать, что для Это, однако, невозможно, так как противоречит определению А.

Подобным же образом можно доказать, что если то Это доказывает утверждение с). Лзмма доказана.

5. Поведение A и B.

Лемма 4. Пусть заданы Тогда непрерывные функции

Доказательство. Достаточно доказать непрерывность А. Непрерывность В доказывается аналогично.

Предположим, что Пусть выбраны так, что

b) , где А — некоторое произвольное положительное число. Будем вместо временно писать чтобы подчеркнуть ее зависимость от Тогда

следует, что непрерывна по равномерно относительно Следовательно, также непрерывна по т. е. для достаточно малых

Таким образом,

что и доказывает непрерывность, так как А было произвольным.

Если то возьмем путем аналогичных рассуждений можно показать, что

Таким образом,

Лемма доказана.

Лемма 5. Пусть фиксированы. А зависит от строго монотонно. Когда стремится к также стремится к 0; когда стремится к А также стремится

Доказательство. Поскольку то когда Если то взятие хотя бы одного наблюдения никак не уменьшит средний риск, какова бы ни была величина А. Следовательно, при имеем для всех А, так что Поскольку то при Таким образом, при Из (4.9) видно, что не убывает с ростом (все остальное фиксировано). Поэтому функция

также не убывает при возрастании и фиксированных Для достаточно малого положительного А и для любого такого, что имеем

Следовательно, для таких строго возрастает с ростом Таким образом, (строго) монотонно возрастает с ростом

Теперь определим функцию двух положительных аргументов В так, что

Из леммы 5 следует, что такая функция существует и однозначна.

6. Свойства функции ...

Докажем лемму. Лемма непрерывна по Доказательство. Пусть

и предположим, что последовательность не сходится. Предположим, что две различные предельные

точки этой последовательности. Из непрерывности А (лемма 4) следует, что

Это, однако, противоречит лемме 5. Единственная возможность, которая должна быть рассмотрена, такова:

Если это имеет место, то из будет следовать что противоречит тому факту, что

Лемма 7. Для фиксированного 8 имеем

Доказательство. Если при малых функция ограничена снизу положительным числом, то в силу можем сделать А произвольно большим, выбрав достаточно малым, а это противоречит тому, что Для доказательства второй части леммы допустим, что ограничена сверху при Тогда будет стремиться к нулю при Пусть фиксировано таким образом, что Рассмотрим множество точек для которых существует целое число такое, что

Условное математическое ожидание величины по этому множеству при гипотезе можно сделать как угодно большим, если взять В достаточно малым. Таким образом, при достаточно большом и при фиксированном произвольном оптимальная процедура с точки зрения минимума среднего риска состоит в том, что сразу же без дополнительных наблюдений отвергается Это, однако, противоречит тому, что лемма доказана.

Лемма 8. Для фиксированного имеют место

Доказательство. По лемме 7

Если при фиксированном с оба достаточно малы, то, независимо от величины Отсюда что и доказывает первую половину леммы.

Пусть теперь есть такая последовательность, для которой Пусть Для краткости будем, писать вместо

Предположим, что для достаточно большого ограничена снизу положительным числом. Тогда для достаточно большого вероятность отвергнуть когда она верна, ограничена снизу положительным числом. Более того, поскольку В то Для достаточно большого отношение ограничено снизу и сверху положительными константами. Таким образом, для достаточно большого средний риск критерия, определенного при помощи больше, чем где а — положительная константа, не зависящая от Более того, по определению этот риск минимален.

Пусть такое произвольное положительное число, что Для всех достаточно больших Пусть причем такие константы, что определенный при их помощи последовательный критерий отношений вероятностей имеет меньшие Величины конечны и определены этим критерием. Для этого критерия средний риск меньше, чем

для достаточно больших Это противоречит тому факту; что минимальный риск лемма доказана.

7. Доказательство теоремы.

Пусть заданный последовательный критерий отношений вероятностей определен при, помощи Пусть есть

соответствующая вероятность браковки , когда верна. Пусть с фиксировано. По лемме 4 В есть непрерывная функция и Пусть в лемме Тогда существует такая пара что

Таким образом, средний риск

соответствующий последовательному критерию 50, минимален. Пусть теперь есть другой критерий для выбора между причем

Тогда

Так как

Здесь были выбраны произвольно (при очевидных, конечно, ограничениях). Таким образом,

Это и есть доказываемый результат.