2. Фундаментальная лемма Неймана — Пирсона

Класс распределений будет называться простым, если он содержит ровно одно распределение. В противном случае он будет называться сложным. Проблема проверки гипотезы полностью описывается соотношениями (4) и (5), если класс К — простой. Если класс также простой, то проблема может быть решена точно. Пусть гипотезе соответствует распределение а гипотезе К — распределение Допустим на время, что эти распределения дискретны, и обозначим для Если ограничиться нерандомизированными критериями, то оптимальный критерий соответствует критической области для которой

и

Нетрудно понять, какие именно точки должны быть включены в Выбранные точки должны иметь суммарную вероятность, не превосходящую а, в одном случае, и вероятность возможно большую — в другом. Подобные задачи часто возникают и в иной обстановке. Так, покупатель с ограниченными средствами, желающий приобрести как можно больше необходимых ему предметов, будет руководствоваться их количеством на доллар. Лицо, желающее как можно быстрее преодолеть некоторое расстояние, должно выбирать скорейший способ передвижения, т. е. такой, при котором число миль в час оказывается максимальным. Аналогично и в нашей проблеме, наиболее ценными являются точки х с большими значениями:

Точки, следовательно, упорядочиваются соответственно величине этого отношения и затем в включают максимальное число их, согласующееся с требованием (6). Формально это означает, что

есть множество тех точек х, для которых где с определяется условием

Здесь возникает некоторая трудность. Может случиться, что, включив очередную точку, мы еще не достигнем уровня включив следующую — превзойдем его. Точное значение а при этом или совсем не может быть получено, или же достигается присоединением к 5 какой-либо из следующих по порядку точек. Эта трудность исчезает при переходе к рандомизированным критериям. С помощью рандомизации можно «расщепить» очередную точку, взяв в 5 такую ее «часть», чтобы получить суммарную вероятность, в точности равную а, не нарушая принятого порядка точек. Эти рассуждения формализуются в нижеследующей теореме (фундаментальной лемме Неймана — Пирсона).

Теорема 1. Пусть распределения вероятностей, обладающие плотностями соответственно, по отношению к некоторой мере

(I) Существование. Для проверки при конкурирующей гипотезе найдется критерий и константа такие, что

и

(II) Достаточное условие для критерия наибольшей мощности. Если критерий удовлетворяет требованиям (7) и (8) при некотором то он является наиболее мощным критерием уровня а для проверки распределения при конкурирующем

(III) Необходимое условие для критерия наибольшей мощности. Если наиболее мощный критерий уровня а для проверки распределения при конкурирующем то при некотором он удовлетворяет (8) почти всюду по мере Он также удовлетворяет (7), кроме случая, когда существует критерий размера и мощности 1.

Доказательство. Для теорема очевидным образом верна: достаточно принять в полагая произведение равным 0. Поэтому мы предположим в дальнейшем, что

(I) Обозначим При вычислении -вероятностей достаточно рассматривать множества, где Поэтому равно вероятности того, что случайная величина превосходит с. Таким образом, является функцией распределения и не возрастает и непрерывна справа,

При данном определим из соотношений и введем критерий полагая

Здесь второе равенство имеет смысл всегда, кроме случая но в этом последнем случае следовательно определена почти всюду. Размер равен

Таким образом, величина участвующая в формулировке теоремы, может быть выбрана равной

Интересно отметить, что величина определяется, по существу, единственным способом. Единственное исключение — это случай, когда для целого интервала значений с. Если такой интервал, причем

то

То есть множества, соответствующие различным значениям с, отличаются друг от друга точками, в совокупности имеющими нулевую вероятность при обоих распределениях, и потому вообще могут быть исключены из выборочного пространства.

(II) Предположим, что критерий удовлетворяет (7) и (8). Пусть какой-либо другой критерий с . Обозначим множества точек выборочного пространства, в которых соответственно. Если то Аналогично Для всех Следовательно,

и для разности мощностей получаем

что и требовалось доказать.

(III) Предположим, что является наиболее мощным критерием уровня а для проверки гипотезы при альтернативе удовлетворяет условиям (7) и (8). Пусть обозначает пересечение множества на котором и множества Допустим, что Так как произведение положительно на то

т. е. оказывается при альтернативе более мощным, чем Мы приходим к противоречию. Следовательно, что и требовалось доказать.

Если бы имел размер и мощность то было бы возможно включить в критическую область дополнительные точки (или «части» точек). Этим мы увеличили бы или мощность до 1, или размер критерия до а. Таким образом, или или

Доказательство части (III) показывает, что наиболее мощный критерий определяется соотношениями (7) и (8) однозначно всюду, кроме, быть может, точек, для которых На этом множестве можно определить произвольным образом, лишь бы размер критерия был равен а. Действительно, мы показали, что на этом пограничном множестве можно выбрать постоянным. В тривиальном случае, когда существует критерий мощности 1, константа в (8) равна 0, и мы будем принимать во всех точках, где хотя, быть может, размер критерия окажется меньше а.

Из этих замечаний вытекает, что наиболее мощный критерий определяется однозначно из соотношений (7) и (8) (с точностью до множеств нулевой меры) каждый раз, когда множество имеет -меру, равную . Очевидно, что этот единственный критерий будет нерандомизированным. Вообще, мы видели, что рандомизация может потребоваться только на пограничном множестве и только в случае необходимости сделать размер критерия в точности равным а. На практике предпочитают в таком случае заменить уровень значимости таким, который не требует рандомизации. В случае, когда существует критерий мощности 1, соотношения (7) и (8) по-прежнему определяют наиболее мощный критерий, но он может не быть единственным, поскольку может существовать другой наиболее

мощный критерий, удовлетворяющий (7) и (8) при некотором

Следствие 1. Пусть обозначает мощность наиболее мощного критерия уровня а для проверки гипотезы при конкурирующей Тогда за исключением случая

Доказательство. Так как критерий уровня а, определяемый формулой имеет мощность а, то ясно, что а Если то критерий оказывается наиболее мощным, и по теореме 1 (III) он должен удовлетворять (8).

Рис. 3.

Тогда почти всюду по мере следовательно

Альтернативный метод доказательства теоремы настоящего раздела основан на следующем геометрическом представлении проблемы проверки простой гипотезы при простой альтернативе. Пусть обозначает множество всех точек обладающих свойством: существует критерий для которого

Это множество выпукло, содержит точки (0,0) и (1,1) и центрально симметрично по отношению к точке (т. е. вместе с любой точкой это множестзо содержит также точку (рис. 3,а). Кроме того, множество замкнуто. [Это следует из теоремы о слабой компактности множества критических функций, см. теорему 3 в добавлении; аргументация совпадает с используемой в доказательстве теоремы

При каждом критерии уровня изображаются точками, абсциссы которых Наиболее мощный из этих критериев (а он существует, так как замкнуто) соответствует точке на верхней границе имеющей абсциссу Эта точка будет

единственной, соответствующей наиболее мощному критерию уровня за исключением случая, когда в существует точка

Рассмотрим в качестве примера геометрическое доказательство следствия 1. Предположим, что для некоторого мощность наиболее мощного критерия уровня равна Тогда из выпуклости следует, что включение влечет а из симметрии вытекает, что совпадает с отрезком, соединяющим точки (0,0) и (1,1). Это означает, что для всех и потому -почти всюду, что и требовалось доказать.

Опирающееся на эти идеи доказательство теоремы 1 содержится в более общем доказательстве теоремы 5.