2. Проверка простых гипотез при одиночном измерении

(а) Вводный пример

Чтобы ввести понятия статистической теории проверки гипотез, представим, что наблюдатель делает одно измерение величины х и на основе результата измерения выбирает одну из двух гипотез, или дающую лучшее описание экспериментальной ситуации. Если бы величина х всегда оказывалась равной когда справедлива гипотеза когда имеет место не было бы никакой проблемы. Но из-за ошибки измерения или в результате некоторых непредсказуемых влияний величина на выходе является случайной переменной, которая должна описываться статистически путем задания функций распределения плотности вероятности при гипотезах соответственно. Если обе эти функции полностью заданы и не зависят от неизвестных параметров, гипотезы называются простыми.

Наблюдатель должен принять стратегию, которая предписывает определенный выбор одной из двух гипотез при каждом возможном результате измерения. В качестве стратегии может быть принято разделение интервала значений х на две области такие, что наблюдатель выбирает гипотезу когда величина х лежит в области и гипотезу когда х лежит в Задача состоит в таком определении этих областей, чтобы обеспечить наибольший длительный успех при многих повторениях эксперимента.

В качестве определенного, но фантастическою примера предположим, что метеоролог должен принять каждый день одну из двух гипотез: завтра будет дождь или — завтра будет ясно. Решение должно приниматься на основе

одной величины средней скорости изменения барометрического давления в течение прошедших 24 часов. По записям, составленным в течение многих лет, вычислены функция плотности вероятности описывающая распределение скоростей изменения х в дни, предшествующие дождливым, и функция описывающая распределение в дни, предшествующие ясным. Например, скорость изменения х может иметь гауссово, или нормальное, распределение со средним значением или и дисперсией

где Эти функции распределений изображены на фиг. 3.1. Первая функция предполагает, что в дни, предшествующие дождливому, давление падает со средней скоростью но скорость падения не всегда одинакова и бывает выше, а иногда ниже по причинам, в которых метеоролог не может детально разобраться.

Фиг. 3.1. Функции плотности вероятности.

Аналогично вторая функция предполагает, что перед ясным днем давление обычно поднимается со средней скоростью Кроме этих функций распределения скоростей изменения х, записи также дают число С дождливых и ясных дней в течение некоторого длительного периода в прошлом. Мы можем назвать априорной вероятностью дождливых дней и априорной вероятностью ясных дней.

Как метеоролог определит свою стратегию, используя приведенные выше сведения? Вид функций распределения указывает, что будет достаточным простое разбиение диапазона значений х на два участка. Область значений х, соответствующая выбору гипотезы задана условием в то время как образована значениями

Однако независимо от выбора точки раздела наблюдатель будет иногда делать неправильное решение. Действительно, вероятность выбора гипотезы когда справедлива гипотеза так называемой ошибки первого рода, равна

и представляется площадью под кривой правее точки (см. фиг. 3.1). Вероятность выбора когда справедлива , "ошибка второго рода", равна

Значение используемое наблюдателем, будет зависеть от стоимости для него этих ошибок. Чтобы сделать ситуацию более определенной, можно предположить, что с метеоролога взимается определенный штраф за каждую ошибку. За ошибку первого рода он платит штраф а за ошибку второго рода Произведение называется риском, соответствующим гипотезе В этой задаче это просто средний штраф, которому подвергается метеоролог за неправильное предсказание ясной погоды. Аналогично произведение С есть риск, соответствующий гипотезе Средний риск при принятии решения

Когда метеоролог делает прогнозы описанным выше методом, уплачиваемый им полный штраф при большом числе предсказаний будет близок к при условии, что данное статистическое описание погоды остается справедливым.

Наблюдатель, естественно, выбирает то значение которое минимизирует его средний риск Чтобы найти эту точку разделения, нужно продифференцировать (3.4) по

и приравнять производную нулю. В результате получается равенство

которое для распределения (3.1) дает

Если то среднему значению двух скоростей изменения барометрического давления. Однако если штраф метеоролога за предсказание ясной погоды, когда будет дождь, достаточно высок, так что он выберет несколько большую среднюю скорость, чтобы сократить свои потери. Значение выбранное в соответствии с уравнениями (3.5) или (3.6), может быть подставлено в (3.4) для определения минимального среднего риска Метеоролог, сравнив со своим жалованьем, может решить, стоит ли работать на таких условиях.

(б) Критерий Байеса

Правило, по которому стратегия решений выбирается так, чтобы минимизировать средний риск, известно как "критерий Байеса". Он естествен для наблюдателя, который должен принять большое число решений в одинаковых условиях. Чтобы этот критерий можно было применять, должны быть установлены цены, соответствующие каждому типу ошибки, и известны априорныё вероятности двух гипотез. Так, в приведенном выше примере априорная вероятность С гипотезы может быть относительной частотой, с которой осуществлялась в прошлом. При этом неизбежно делается предположение, что это будет выполняться и в будущем. Величину С можно рассчитать также, исходя из физической теории наблюдаемого явления (в примере предыдущего раздела — погода). Такая теория использует предположение о распределении определенных случайных эффектов, которые нельзя предсказать. В принципе должно быть возможно проверить это предположение, сравнивая рассчитанное значение априорной вероятности С с действительной относительной частотой

гипотезы в длинной последовательности наблюдений. Концепция априорной вероятности, использованная при выводе стратегии Байеса, требует возможности проведения большого числа наблюдений или опытов.

Вообще можно записать цены решений каждого типа в виде элементов матрицы цен С

где цена выбора гипотезы когда в действительности справедлива Относительная цена ошибки первого рода относительная цена ошибки второго рода . В приведенном выше примере матрица цен имеет вид

Цены зависят от действий, предпринимаемых после каждого решения, и от последствий этих действий.

Пусть гипотеза выбирается, когда результат измерения х лежит в области когда х лежит в Если априорные вероятности гипотез равны соответственно, средний риск при принятии решения будет

Члены в скобках — риски, связанные с гипотезами. Они взвешены в соответствии с относительными частотами, с которыми осуществляется каждая гипотеза. Ниже будет показано, что средний риск С минимален, когда области определяются следующим образом: для каждого

наблюдения х вычисляется величина

называемая коэффициентом правдоподобия. Область состоит из значений х, для которых из значений х, для которых Критическое значение выражается формулой

Эта стратегия известна как "байесово решение" задачи выбора. Как увидим ниже, байесово решение может быть выражено в терминах коэффициента правдоподобия, даже когда выбор основан на измерении больше чем одной переменной. Минимальное значение называется "байесовым риском".

Чтобы доказать, что эта стратегия обеспечивает минимальный средний риск, вычислим средний риск С, когда используется некоторая иная стратегия, представленная областями Обозначим через область значений х, принадлежащих одновременно областям и а через область значений х, принадлежащих одновременно обозначениях теории множеств Для разности средних рисков получаем

В области пересечения имеем имеем причем дается формулой (3.10). Поэтому правая часть равенства (3.11) положительна и что и требовалось доказать.

Байесово решение можно описать и другим способом. Условная вероятность гипотезы при условии, что при измерении было получено значение х, равна

вероятность при том же условии —

где полная плотность вероятностей результата при всех опытах (об определении условных вероятностей см. приложение "Условный риск", сопровождающий выбор с предпочтением гипотезы определяется соотношением

условный риск при выборе формулой

Наблюдатель выбирает ту гипотезу, для которой условный риск при результате измерения х оказывается меньшим. Используя соотношения (3.12а) и (3.126), можно показать, что это предписание эквивалентно правилу, данному выше.Условный риск является ценой, приходящейся в среднем на одно решение, если бы во всех случаях, когда результат измерения оказывался в малой области вблизи значения х, принималась гипотеза .

(в) Минимаксный критерий

Может случиться, что наблюдатель не в состоянии оценить априорные вероятности событий Например, событие могло вообще никогда не осуществляться в действительности в прошлом [хотя оно могло

быть создано искусственно, чтобы измерить функцию распределения плотности вероятностей и поэтому об относительной частоте, с которой это событие можно ожидать в будущем, данных нет. Если значение С неизвестно, байесово решение найти нельзя. Можно предположить, что критерий минимального среднего риска следует при этом заменить так называемым минимаксным критерием, обосновываемым по аналогии с теорией игр. Согласно этому критерию, наблюдатель должен использовать байесову стратегию, соответствующую такому значению С, для которого байесов риск максимален. Обстоятельное изложение применения теории игр к статистической проверке гипотез дано Блекуэллом и Гиршиком [14].

В защиту использования минимаксного критерия часто приводится следующий довод. Природа или какой-нибудь другой противник и наблюдатель рассматриваются как оппоненты в игре двух лиц с нулевой суммой. В каждом туре игры Природа выбирает одну из двух гипотез, или или, что то же самое, одну из двух функций распределения, или Значение случайной переменной х каким-либо образом вырабатывается некоторым вероятностным механизмом, причем функция распределения та же, что и выбранная Природой. На основе этого значения х наблюдатель пытается угадать, какую гипотезу выбрала Природа. Матрица цен С (3.7) представляет "плату" в конце игры. Если наблюдатель указывает когда Природа выбрала он должен уплатить ей Природа может выбирать две гипотезы с относительными частотами а наблюдатель, чтобы сделать выбор, может использовать любой способ, который ему нравится. Каждый пытается достичь максимального выигрыша, или минимальных потерь, при усреднении по большому числу туров.

Зная С, которым пользуется Природа, наблюдатель применил бы байесово решение, соответствующее этому значению С, и его потери были бы байесовым риском график которого как функция С подобен графику, приведенному на фиг. 3.2. Когда наблюдатель использует байесово решение для априорной вероятности Природа пользуется некоторым другим значением С, средние потери наблюдателя описываются прямой линией, касательной к кривой

в точке Уравнение этой линии имеет вид

Потери при этом могут быть очень велики — больше, чем необходимо. Но, если наблюдатель использует байесово решение для значения котором байесов риск максимален и прямая горизонтальна, он уверен, что его потери не будут превышать независимо от относительной частоты, которую Природа выбирает в действительности. С другой стороны, Природе следует применять только относительную частоту так как, если бы она выбирала любую другую, наблюдатель применил бы байесову стратегию для значения С, близкого к выбранной ею, и ее средний выигрыш был бы меньше (Со), который она могла бы получить в противном случае. Байесова стратегия для называется "минимаксной стратегией", a - "минимаксным риском".

Кривая фиг. 3.2 построена для примера с метеорологом, рассмотренного в подразделе при . В соответствии с (3.6) байесов критерий требует, чтобы наблюдатель предсказывал дождь

Фиг. 3.2. Байесов и минимаксный риски.

(выбирал ), если Вероятности ошибок, найденные из соотношений равны

где интеграл функции ошибки [см. приложение Б, формула ]:

Байесов риск Он имеет максимум при когда Минимаксный риск равен Разумеется, предположение, что Природа выбирает частоту дождливых дней таким образом, чтобы максимизировать потери метеоролога, абсурдно, но в случаях, подобных этому, наблюдатель обычно может оценить априорную вероятность С из прошлого опыта и не нуждается в использовании минимаксною критерия. Тем не менее минимаксное решение полезно потому, что оно дает способ решения задачи выбора, не зависящий от значений априорной вероятности.

Дифференцируя средний риск (3.8) по С, найдем, что минимаксное решение есть байесово решение, для которого риски, соответствующие двум гипотезам, равны. В приведенном выше примере это условие дает трансцендентное уравнение

которое может быть непосредственно решено относительно разграничивающей точки Значение каждой части уравнения при этом равно минимаксному риску.

(г) Критерий Неймана — Пирсона

Во многих случаях трудно найти или хотя бы приближенно определить не только априорные вероятности, но

и цены. Это особенно справедливо в случае задачи обнаружения сигналов в радиолокации, где трудно судить о цене пропуска цели и где представление об априорной вероятности сигнала может даже не иметь смысла. Когда гипотеза имеет место крайне редко, коэффициентом, играющим решающую роль в определении полной средней цены, является часть опытов в которых выбрана неправильно, сделана ошибка первого рода и при этом напрасно выполнено некоторое действие, имеющее высокую стоимость. В системе радиолокационного обнаружения, например, такая "ложная тревога" может привести к выстрелу дорогостоящим снарядом, атакующим несуществующую цель. Наблюдатель определяет значение вероятности которая может быть допущена, и ищет стратегию решений, дающую это значение и в то же время обеспечивающую минимальную возможную вероятность ошибки второго рода. Говорят, что при этой стратегии выполняется "критерий Неймана — Пирсона". (Это соответствует в радиолокации максимизации вероятности обнаружения цели при данной вероятности ложной тревоги.) В теории проверки гипотез называется "размером" испытания, а максимальное достижимое значение - "мощностью" испытания.

Для применения этого критерия, когда решение основывается на результате одиночного измерения некоторой величины х, вычисляется коэффициент правдоподобия (3.9) как функция х. Результат измерения сравнивается с некоторым фиксированным значением Гипотеза выбирается, если когда При гипотезе коэффициент правдоподобия также является случайной переменной Его функция распределения плотности вероятности связана с известной функцией соотношением

Вероятность ошибки первого рода

Значение выбирается таким образом, что принимает предписанное значение. Вероятность ошибки второго рода

определяется по формуле

где функция распределения при гипотезе

Во многих задачах коэффициент правдоподобия есть монотонная функция х [как в примере подраздела ] и применение критерия Неймана — Пирсона почти тривиально, так как при этом не возникает задачи минимизации. Но, как мы увидим в следующем разделе, когда решение основывается на результате нескольких измерений, это не так.

В других главах мы будем в основном иметь дело с критерием Неймана — Пирсона, так как он, по-видимому, наиболее подходит для задач радиолокационного обнаружения. Пользуясь этим критерием, мы, однако, ничего не теряем, так как решение Неймана — Пирсона содержит всю информацию, необходимую для применения байесова или минимаксного критерия. Как мы увидим ниже, даже при использовании нескольких измерений все три критерия требуют вычисления коэффициента правдоподобия в одинаковой форме. Только значение величины с которым сравнивается коэффициент правдоподобия, зависит от критерия. Это значение можно получить, применяя критерий Неймана — Пирсона.

Подобные результаты лучше всего представить в виде кривой мощности испытания как функции размера . (В задаче обнаружения называется "вероятностью обнаружения", a известно как "вероятность ложной тревоги".) Эта кривая часто называется "рабочей характеристикой" испытания. Она зависит толькв от функций плотности распределения вероятностей измеряемых величин при двух гипотезах и не зависит ни от каких-либо цен, ни от априорных вероятностей. На фиг. 3.3 изображена рабочая характеристика для примера подраздела вычисленная по формулам и данным, приведенным в подразделе

Наклон рабочей характеристики в любой точке равен критическому значению коэффициента правдоподобия

Это равенство можно доказать, дифференцируя (3.14) и (3.15) и используя соотношение Оно следует из того факта, что прямая по уравнению (3.13) касательна к кривой байесова риска фиг 3.2). При применении байесова критерия значение вычисляется с помощью формулы (3.10) по известным ценам и априорным вероятностям.

Фиг. 3.3. Рабочая характеристика. а — байесово решение:; б - минимаксное решение; в — линия равных рисков.

Затем на рабочей характеристике находится точка, крутизна в которой равна найденному значению Это легко сделать, проведя прямую с наклоном и двигая угольник так, чтобы его сторона оставалась параллельной этой прямой до тех пор, пока она не коснется рабочей характеристики. Точка касания даст значения для байесовой стратегии, Байесов риск после этого можно подсчитать по формуле (3.8). Пунктирная линия на фиг. 3.3 представляет решение, соответствующее значению априорной вероятности отмеченной на фиг. 3.2 .

Для отыскания минимаксного решения используется равенство двух рисков

Эта формула представляет собой уравнение прямой линии на плоскости Линия в на фиг. 3.3 построена с использованием данных, приведенных в подразделе Эта линия пересекает рабочую характеристику при минимаксных значениях вероятностей Наклон рабочей характеристики в точке пересечения дает значение по которому, используя (3.10), можно вычислить априорную - вероятность Минимаксный риск равен значению каждой части равенства (3.17).

Легко проверить, что, если цены удовлетворяют одному из неравенств

линия равного риска вообще не пересечет рабочую характеристику в области где она только и имеет смысл. При этом не существует минимаксного решения в обычном смысле. Вместо этого лучшая стратегия для Природы — это выбрать когда выполняется Первое неравенство, и когда выполняется второе. (Говорят, что Природа принимает "чистую" стратегию.) Первое неравенство предполагает, что потери наблюдателя всегда будут больше, когда справедлива гипотеза чем когда справедлива при этом не имеет значения, какую стратегию он использует при принятии решений. Минимаксный критерий заставляет его сделать заключение, что гипотеза будет всегда справедлива. Когда цены заданы в соответствии со вторым неравенством, приведенным выше, подобным же образом он придет к убеждению, что всегда будет осуществляться гипотеза