12. Оптимальное свойство последовательных критериев отношений вероятностей

Основная часть доказательства теоремы 8 состоит в решении следующей вспомогательной задачи. Пусть проверяется гипотеза : плотность X есть при альтернативе, что она есть Пусть потери, возникающие от неправильного отклонения (принятия) равны и пусть стоимость каждого наблюдения равна с. Риск последовательной процедуры (т. е. средние потери плюс средняя стоимость наблюдений) при истинной плотности равен

где

— вероятности ошибок. Допустим, что номер плотности также случаен и принимает значения и 1 с вероятностями соответственно. Тогда полный средний риск процедуры равен

Мы определим байесовскую процедуру для этой задачи, т. е. процедуру, которая минимизирует (42). Здесь интерпретация (42) как байесовского риска помогает лучше понять доказательство и приводит к некоторым задачам, имеющим самостоятельный интерес. Однако, с точки зрения теоремы 8, введение величин и является просто математическим приемом, и задача состоит в минимизации формального выражения (42).

Байесовское решение содержит две постоянные которые однозначно выражаются через и с помощью уравнений (44) и (45) (см. ниже), и которые не зависят от . Нам достаточно будет ограничиться случаем предполагая также, что априорная вероятность удовлетворяет неравенству

Лемма 5. Пусть и удовлетворяют уравнениям (44). Если тогда при всех байесовский риск (42) минимизируется любым последовательным критерием отношений вероятностей с границами

Доказательство. (1) Мы начнем с исследования того, стоит ли вообще производить наблюдения, в результате чего риск будет не меньше с, или лучше принять решение

немедленно. Пусть процедура, которая отвергает (принимает) без наблюдений, так что

Пусть

где обозначает класс всех процедур, требующих хотя бы одного наблюдения. Тогда для любого и любых

Следовательно, вогнутая функция, и так как ее значения ограничены снизу нулем, то она непрерывна на интервале

Рис. 5.

Если

то мы определим и из уравнений

(см. рис. 5). В противном случае положим

В рассматриваемом нами случае минимизирует (42) тогда и только тогда, когда

минимизирует (42) тогда и только тогда, когда Отсюда вытекает единственный оптимальный способ поведения на первом шаге при если то наблюдения не производятся, а гипотеза отвергается (принимается); если то производится первое наблюдение

(2) Доказательство завершается теперь по индукции. Пусть и произведено наблюдений с исходами Мы сталкиваемся с возможностями: не брать ни одного дополнительного наблюдения, отклоняя или принимая (с потерями в случае неправильного решения), или произвести наблюдение Положение весьма сходно с проанализированным в пункте 1. Допустимо неограниченное накопление наблюдений. Тот факт, что уже израсходовано единиц, не влияет на задачу, так как раз уже мы понесли эти потери, то никакие будущие события не могут их уменьшить. Таким образом, процедура совпадает с прежней: наблюдения не производятся, если вероятность того, что верна, меньше или больше в то время как при производится дополнительное наблюдение

Наличие результатов уже произведенных наблюдений изменит только одну сторону ситуации. Вероятность того, что гипотеза верна, будет теперь равна не , а

т. е. условной (апостериорной) вероятности при Процедура, следовательно, требует продолжения наблюдений только в случае т. е. в случае

Гипотеза принимается, если при первом нарушении этих неравенств , и отвергается, если это отношение больше

(3) Как показано в части (1) доказательства, на первом шаге процедуры решение однозначно определяется при при произвести наблюдения при При процедура снова минимизирует (42), но перестает однозначно определяться этим свойством, т. е. существует процедура для которой Чтобы принадлежать к эта процедура должна требовать по меньшей мере одного наблюдения. Коль скоро значение стало известным, то, как следует из части (2), наилучшая процедура в получается, если наблюдения продолжать при

На первом шаге, следовательно, является несущественным, будут ли при пограничном значении эксперименты продолжены, или мы примем вышеуказанное решение. То же самое верно и для последующих шагов. Этим доказано, в частности, что при процедура, состоящая в проведении первого наблюдения и в следовании в дальнейшем последовательному критерию отношений вероятностей с границами (43), является байесовской.

Связь между вспомогательной и основной задачами устанавливается следующей леммой.

Лемма 6. Каковы бы на были найдутся числа такие, что байесовское решение вспомогательной задачи с априорной вероятностью дается последовательным критерием отношений вероятностей с границами

Доказательство. (1) По лемме 5 величины и суть функции от и с и потому достаточно найти такие , что Обозначим (при фиксированном ) Если наименьшее с, при котором то при величины определяются из уравнений

где обозначает то, что ранее мы обозначали Функция рассматриваемая как функция с при фиксированном обладает следующими свойствами: (I) она непрерывна, что вытекает из ее вогнутости; (II) она строго возрастает, так как при любом риск строго возрастает вместе с и так как минимальный риск достигается на процедуре (III) при с, стремящемся к нулю, также стремятся к нулю. Последнее утверждение вытекает из того, что, рассматривая критерии с фиксированным объемом выборки и беря достаточно большим, можно сделать вероятности ошибок сколь угодно малыми.

Из этих свойств функции вытекает, что при функция непрерывна, строго возрастает (убывает) и что при . С другой стороны, при так что обе величины стремятся к решению уравнения . Из

перечисленных свойств следует, что при фиксированном

является непрерывной, строго возрастающей функцией, которая изменяется от до 1 при изменении с от

(2) Пусть

Вместо того, чтобы оперировать с переменными и более удобно иметь дело с Докажем, что существуют такие, что

Согласно части (1) доказательства, для любого существует единственное такое, что Ниже будет показано, что функция осуществляет взаимно однозначное отображение интервала на следовательно, найдется единственное значение для которого Этим доказательство леммы будет завершено.

(3) По лемме 5 для вспомогательной задачи с константами существует байесовское решение которое является последовательным критерием отношений вероятностей с границами

Пусть обозначает соответствующее решение при константах так что для границы равны

Тогда вероятности ошибок и средние размеры выборок, т. е. зависят от и с только через ко, но не через у. Поэтому при фиксированном ко они будут фиксированными числами. Байесовские риски для равны

и из (44) следует, что

Эти уравнения могут быть более подробно записаны в форме

и

Если сюда подставить вместо вместо а затем исключить с, то мы придем к одному уравнению, связывающему

Оно линейно относительно а; и при каждом имеет решение Как функция у оно является квадратным трехчленом, причем коэффициент при квадрате и свободный член имеют при противоположные знаки. Следовательно, в этом случае существует единственное положительное решение у, которое и устанавливает желаемое взаимно однозначное соответствие между

Чтобы закончить доказательство теоремы 8, рассмотрим теперь какой-либо последовательный критерий отношений вероятностей с и любой константой Пусть

Эти значения удовлетворяют (43) и По лемме 6 найдутся, следовательно, константы такие, что данный критерий оказывается байесовским решением вспомогательной задачи, в которой истинная плотность равна с вероятностью , потери равны и стоимость одного наблюдения — с. Пусть будут вероятностями ошибок и средними объемами выборок для данного критерия. Рассмотрим любую конкурирующую процедуру с вероятностями ошибок и размерами выборок Так как данный критерий минимизирует байесовский риск, то для него

и, следовательно,

Справедливость этого неравенства при всех влечет

что и требовалось доказать.

13. Задачи

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

14. Литературные ссылки

Методы проверки гипотез развивались постепенно и на первых этапах сводились к весьма расплывчатым утверждениям о значимости или незначимости совокупности результатов наблюдений. Отдельные приложения (самые ранние восходят, вероятно, к Лапласу (1773)) встречаются в 19 веке в работах, например, Гаварэ (1840), ексиса (1875,1877) и Эджворта (1885). Систематическое использование проверки гипотез началось с работ Карла Пирсона; особенно следует отметить статью о -критерии (1900).

Первыми авторами, указавшими, что рациональный выбор критерия должен основываться не только на проверяемой гипотезе, но и на допускаемых альтернативах, были Нейман и Пирсон (1928). Они ввели понятие ошибок первого и второго рода и мотивировали использование отношения правдоподобия как основы общего метода построения критериев. Логическое завершение этих исследований дано в работе Неймана и Пирсона (1933), где была развита теория РНМ критериев.

Вероятно, самый ранний пример доверительных интервалов встречается у Лапласа (1812), который показал, как можно обратить (приближенное) вероятностное утверждение о степени расхождения наблюдаемой частоты и биномиальной вероятности с тем чтобы найти подходящий интервал для Другие примеры можно найти в работах Гаусса (1816), Фурье (1826) и Лексиса (1875). Однако, хотя во всех этих случаях сделанные утверждения формально правильны, авторы стремились рассматривать параметр как переменную, которая с заданной вероятностью попадает в фиксированный доверительный интервал. Правильная интерпретация была в первый раз отмечена, по-видимому, у Е. Б. Вилсона (1927). Примерно в это же время два точных доверительных утверждения были высказаны Уоркингом и Хотеллингом (1929), и Хотелл ингом (1931).

Общий метод отыскания точных доверительных границ для действительного параметра в непрерывном распределении был предложен Фишером (1930), который впоследствии отказался от этой интерпретации своей работы. (Библиография, касающаяся фишеровской концепции доверительных вероятностей, в терминах которых формулируется теория, приведена у Тьюки

(1957).) Примерно в то же время) Нейманом была развита общая теория доверительных утверждений. Им же была показана их тесная связь с теорией проверки гипотез. Детальное изложение результатов, которое лежит в основе приведенной здесь трактовки материала, было опубликовано Нейманом в статьях 1937 и 1938 годов.

(см. скан)

(см. скан)

(см. скан)

(см. скан)