14.3. Критерии отношения правдоподобия

Простые гипотезы.

Не вводя в задачу проверки гипотез априорных вероятностей, мы не можем вычислить общие ожидаемые потери или вероятность ошибки. В этом случае решающее правило должно основываться на несколько иной идее. Более или менее очевидную основу для выработки решающего правила дает нам так называемый принцип наибольшего правдоподобия, согласно которому мы заключаем, что на самом деле имеет место та причина (или состояние природы), которая с наибольшей вероятностью порождает наблюдаемое значение. Иными словами, если то следует выбрать если следует выбрать (где опять-таки при выбор может быть сделан произвольным образом). То же самое можно сформулировать следующим образом: нужно выбрать в качестве множество значений у, для которых и

Такая формулировка определяет критерий, не основанный на априорной вероятности или потерях и дающий те же результаты, что и байесовский критерий с

Все рассмотренные до сих пор критерии содержали отношение Эта функция от у, которую мы обозначим через называется отношением правдоподобия. Так как не определена при то функция требует в этих точках специального доопределения; мы положим при Отношение правдоподобия играет центральную роль при проверке статистических гипотез; ниже обнаружится, что все критерии, используемые нами при проверке гипотез, являются критериями отношения правдоподобия, хотя временами вводится более общая форма отношения правдоподобия. Поскольку функция определена в выборочном пространстве У (пространстве результатов наблюдений), она является случайной величиной. Она имеет два различных распределения вероятностей. Если правильна гипотеза то закон распределения вероятностей в У определяется при помощи так что функция распределения величины I равна

Если правильна гипотеза то функция распределения величины I равна

Для дальнейшего изложения целесообразно ввести некоторые статистические термины, относящиеся к проверке гипотез. До сих пор мы рассматривали только проверку одной гипотезы относительно другой. Такие отдельные гипотезы называются простыми, в отличие от ситуации, которую мы рассмотрим ниже, где фигурируют так называемые сложные гипотезы, являющиеся группами простых гипотез. Как следует из предыдущего, любое решающее правило для проверки двух простых гипотез сводится к разделению пространства наблюдений У на две части, Если в результате наблюдений мы получаем значение у, относящееся к то надлежит выбрать если у относится к то выбрать надлежит Правило выбора гипотезы определено, если определено одно из множеств или так как второе является дополнительной частью У. Обычно проверка гипотез рассматривается с точки зрения одной из гипотез, например Тогда называется областью принятия гипотезы, а — областью отвергания гипотезы, или, что более обычно, критической областью. Если наблюдаемое значение у попадает в так что мы отвергаем а на самом деле гипотеза является истинной, то мы говорим, что допустили ошибку первого рода; если у попадает в , а правильной

является , то мы допускаем ошибку второго рода. Вероятность отвергнуть гипотезу когда она является правильной, называется уровнем значимости или объемом критерия. Вероятность отвергнуть гипотезу когда она является ложной, называется мощностью критерия. Введенные определения повторены на фиг. 14.3.

Фиг. 14 3. Проверка двух гипотез.

Как было упомянуто выше, при неизвестных априорных вероятностях нельзя определить ожидаемые потери или полную вероятность ошибки и поэтому невозможно ввести критерий, применение которого обеспечило бы минимум какой-либо из этих величин. Было сказано, что критерием, на котором в таких случаях может основываться проверка, является принцип наибольшего правдоподобия. Другой принцип, который может быть применен при различных обстоятельствах и является, пожалуй, более убедительным, состоит в том, чтобы поддерживать вероятность ошибки первого рода меньшей или равной некоторой наперед заданной величине и обеспечивать минимум вероятности ошибки второго рода. Известная теорема Неймана — Пирсона утверждает, что критерий наибольшего правдоподобия удовлетворяет этому принципу. Точнее, если — действительное неотрицательное число, то критическая область состоящая из всех у, для которых определяет критерий выбора между , обладающий максимальной мощностью из всех критериев с уровнем значимости

Доказательство этой теоремы состоит в следующем. Пусть — уровень значимости критерия. Пусть, далее, — некоторая область в для которой Мы покажем, что мощность критерия, имеющего критической областью не меньше мощности критерия, имеющего критической областью Пусть — подмножество в содержащее точки, входящие в может быть пустым), и пусть запись обозначает множество точек у, входящих в но не входящих в Во-первых, для всякой точки у, входящей в и, следовательно, в имеет место

неравенство следовательно,

Поэтому

Однако

и так как, по предположению,

то имеем

Далее,

Так как точки, входящие в не принадлежат Для всех у в Следовательно,

Наконец,

Комбинируя равенства (14.16) — (14.21), получаем

что и требовалось доказать.

Заметим, что если возрастает, то размеры области убывают и также убывает (или, строго говоря, не возрастает) уровень значимости критерия . В общем случае о функциональной зависимости а от больше ничего сказать нельзя. В частности, уровень значимости а не обязательно должен принимать все значения между нулем и единицей; это означает, что а как функция может иметь разрывы в виде скачков. Можно также отметить, что в качестве множества можно выбрать множество, состоящее из тех значений у, для которых (вместо формулировка и доказательство теоремы при этом остаются неизменными. Разница состоит лишь в том, что уровни значимости а, соответствующие одному и тому же могут оказаться различными. Если в качестве принимается множество тех у, для которых

будет множеством, в котором что эквивалентно Согласно предыдущему замечанию, это означает, что есть критическая область максимальной мощности для критерия проверки относительно с уровнем значимости

Пример 14.3.1. Пусть пространством наблюдений У являются действительные числа. Пусть — гипотеза о том, что наблюдаемые значения обладают гауссовским распределением с нулевым средним значением и дисперсией, равной единице.

Фиг. 14.4. Критерий оценки среднего значения для гауссовского распределения.

Пусть, далее, — гипотеза о том, что наблюдаемые значения обладают гауссовским распределением с равными единице средним значением и дисперсией (см. фиг. 14.4). Мы хотим проверить гипотезу относительно . Тогда

и

Поскольку при положительных значениях аргумента логарифм есть действительная монотонно возрастающая функция, мы можем заменить условие

эквивалентным ему условием

Если , то множество всех положительных действительных чисел, а множество, состоящее из всех отрицательных действительных чисел и нуля. Уровень значимости критерия равен тогда

а мощность критерия —

В общем случае есть множество чисел уровень значимости равен тогда

а мощность —

Пример 14.3.2. Пусть У — множество всех действительных чисел от 0 до 3, Пусть имеют вид

и

Тогда

Если то - множество чисел Уровень значимости критерия равен нулю, а мощность равна 1/2. Если 1, то есть множество чисел в этом случае уровень значимости равен 1/2, а мощность равна 1. Рассмотренный случай является простым примером так называемого сингулярного случая в задаче проверки гипотез, когда некоторое подмножество У обладает ненулевой вероятностью при одной гипотезе и нулевой вероятностью при другой.

Пример 14.3.3. Задача состоит в сравнении двух -мерных гауссовских распределений с одинаковыми матрицами ковариаций, но различными средними значениями. Пространством результатов наблюдений Y служит N-мерное векторное пространство; иными словами, каждое наблюдаемое значение у явлиется

вектором Предположим, что система координат выбрана так. что некоррелированные случайные величины. Гипотезами являются

Таким образом, есть среднее для плотности — среднее для плотности . Отношение правдоподобия равно

Критерий отношения правдоподобия определяется выбором множества содержащего те для которых

Мы можем также рассматривать логарифм от и удобно так и сделать. Тогда критерий принимает вид

Это приводит к неравенству, определяющему

Геометрический смысл этого неравенства состоит в том, что есть некоторое полупространство в -мерном пространстве (если , то полупространство, не содержащее начала). Граничная гиперплоскость перпендикулярна к вектору, проведенному из начала и имеющему компоненты

расстояние этой гиперплоскости от начала равно

Так как независимые гауссовские случайные величины, то

также является гауссовской случайной величиной. Если справедлива гипотеза то

Если справедлива Н, то

Вероятности ошибок находятся теперь подстановкой соответствующих параметров в гауссовское распределение. Так, например,

где определяются выражениями (14.26 а) и (14.26 б).

Сложные гипотезы.

До сих пор мы рассматривали проверку гипотез, когда каждая из двух гипотез соответствовала единственной возможной причине наблюдаемой величины. Иными словами, каждая гипотеза была простой. Мы хотим теперь рассмотреть вопрос о проверке гипотез в том случае, когда одна или обе гипотезы соответствуют целой совокупности возможных причин, т. е. являются сложными. Обозначим через совокупность символов или индексов, относящихся ко всем возможным простым гипотезам, так что простые гипотезы будут обозначаться символом , где — элемент из . Пусть — некоторое подмножество множества — совокупность всех точек не вошедших в Каждому со соответствует определенный в Y закон распределения вероятностей с плотностью Сложная гипотеза состоит в том, что плотность распределения вероятностей, управляющая в действительности наблюдаемыми величинами у, равна где — элемент сложная гипотеза состоит

в том, что плотность связана с , являющимся элементом Такая формулировка включает в себя также случай проверки простых гипотез; если каждое из множеств содержит по одному элементу, то гипотезы простые. Если содержит только один элемент, а - много элементов, то задача состоит в проверке простой гипотезы относительно сложной альтернативы; такая ситуация встречается в статистике довольно часто.

В представляющих для нас интерес задачах сложные гипотезы обычно возникают из-за существования неизвестных параметров, влияющих на результаты наблюдений. Например, в радиолокационной задаче, упомянутой в можно рассматривать как гипотезу о том, что отраженное от объекта из некоторой области эхо отсутствует. Тогда — гипотеза о наличии отраженного эха. Однако, поскольку мы не знаем размеров отражающего объекта, а условия распространения меняются, амплитуда отраженного сигнала неизвестна. Таким образом, на результат наблюдений отраженного сигнала влияет не только наличие или отсутствие объекта, но также и интенсивность отражения от него, если он есть, и является сложной гипотезой. Множество складывается из множества содержащего только одну точку и определяющего простую гипотезу и множества содержащего бесконечное число точек (соответствующих бесконечному количеству возможных амплитуд) и определяющего гипотезу

Если задано распределение вероятностей на т. е. совокупность априорных вероятностей всех возможных причин, то критерии, основанные на минимизации величины ожидаемых потерь или вероятности ошибки (байесовское решение), могут быть получены по существу тем же путем, что и в случае простых гипотез. Действительно, если — априорная плотность распределения вероятностей в , то в (14.8) заменяется выражением

а — выражением

Область является тогда множеством точек у, для которых

что аналогично условию (14.11).

Если в Я не задано никакого априорного распределения вероятностей и если одна или обе гипотезы являются сложными, то отыскание удовлетворительного решающего правила нередко оказывается затруднительным. Мы обсудим кратко два возможных подхода к задаче проверки гипотез при отсутствии априорных вероятностей и сложных гипотезах: непосредственное применение принципа наибольшего правдоподобия и максимизация мощности критерия при поддержании фиксированным его уровня значимости. Эти две идеи были использованы в предыдущем разделе при рассмотрении простой альтернативы.

Принцип наибольшего правдоподобия, тесно связанный с оценкой наибольшего правдоподобия, состоит в том, что наблюдатель должен выбрать из такое , при котором наблюдаемое значение у становится наиболее вероятным. Иными словами, наблюдая у, он должен выбрать так, чтобы обеспечить максимум Тогда, если выбранное со принадлежит то наблюдатель выбирает если выбранное принадлежит то он выбирает Этот критерий может быть выражен через критерий отношения правдоподобия для общего случая как

где принимает все значения из — все значения из Обобщенный критерий отношения правдоподобия есть критерий, в котором есть множество точек у, удовлетворяющих неравенству

где — некоторое заранее заданное неотрицательное число.

В некоторых применениях принцип правдоподобия не заслуживает доверия. Очевидно, если наблюдатель использует критерий отношения правдоподобия, когда в имеется распределение вероятностей, которое, однако, ему не известно, то он может прийти к критерию, существенно отличающемуся от того, который обеспечивает минимальную вероятность ошибки.

Обращаясь к критериям наибольшей мощности при заданном уровне значимости, рассмотрим в целях простоты частный случай,

когда нулевая гипотеза простая, а альтернативная гипотеза сложная. Тогда для каждого из нужно провести проверку с уровнем значимости гипотезы относительно простой гипотезы, соответствующей . Критерий наибольшей мощности, производящий такое сравнение, должен иметь критическую область состоящую из всех тех х, для которых при некотором

Если критические области идентичны для всех в то критерий с критической областью где принадлежит называется равномерно наиболее мощным критерием проверки гипотезы относительно гипотезы с уровнем значимости а. Если возникает такая счастливая ситуация, то наблюдатель, производящий проверку гипотезы относительно оказывается в столь же хорошем положении, как если бы гипотеза была простой. Неопределенность, возникающая из-за того, что гипотеза — сложная, в этом случае оказывается несущественной. В некоторых полезных примерах, как мы увидим ниже, действительно существует равномерно наиболее мощный критерий. Если это не имеет места, то не существует простого принципа для выделения наилучшего критерия с уровнем значимости а. При этом ситуация, может быть, несколько прояснится, если обратиться к функции мощности. Функция мощности критерия с критической областью — это вероятность критической области как функции от

Фиг. 14.5. Графики функций мощности.

Предположим, что — некоторый интервал на действительной оси, так что каждый элемент — это действительное число, заключенное, скажем, между а и Тогда типичные графики функций мощности имеют вид, указанный на фиг. 14.5, где обточка в , соответствующая так что значение функции мощности при есть уровень значимости критерия. Каждая из кривых на фиг. 14.5 есть график функции мощности для различных

критериев; все они имеют уровень значимости а. Если существует такой критерий, что график его функции мощности лежит выше всех остальных и имеет то же самое значение при подобно кривой (а) на фиг. 14.5, то это и есть равномерно наиболее мощный критерий с данным уровнем значимости. Обычно всякая функция мощности при некоторых значениях лежит ниже, чем функция мощности какого-либо другого критерия, как это имеет место для кривых на фиг. 14.5.

Если равномерно наиболее мощный критерий отсутствует, то для выделения «наилучшего» критерия можно ввести какой-либо иной принцип. Для этого имеются различные возможности; класс рассматриваемых критериев может быть сужен путем рассмотрения только критериев, обладающих некоторыми частными свойствами. Тогда может оказаться, что существует равномерно наиболее мощный критерий в этом более узком классе. Один такой класс образуют несмещенные критерии, функции мощности которых минимальны при кривые (а) и (b) на фиг. 14.5 являются функциями мощности несмещенных критериев, тогда как кривая таковой не является. Другая возможность состоит в оценке качества критериев того же уровня значимости в соогвегствии с некоторыми общими свойствами функции мощности.

Пример 14.3.4. Видоизменим пример 14.3.3, положив и заменив на , где — неизвестное действительное положительное число. Тогда простая гипотеза:

гипотеза же — сложная:

Покажем теперь, что для этого примера критерий отношения правдоподобия для проверки гипотезы относительно гипотезы является равномерно наиболее мощным критерием с соответствующим уровнем значимости. Во-первых, заметим, что при невырожденных гауссонских плотностях, как в данном примере, уровень значимости а является при фиксированном Р непрерывной и монотонной функцией, пробегающей все значения от нуля до единицы. Следовательно, можно найти по крайней мере одно значение соответствующее любому заданному уровню а. В соответствии с примером 14 3.3 при фиксированном значении критическая область для наиболее мощного критерия проверки относительно с уровнем значимости а состоит из тех для которых

или

Если теперь для двух разных значений величина строго больше, чем то из неравенства (14.32) следует, что содержит во всяком случае все точки входящие в Однако

Следовательно, Тогда, согласно принятому нами соглашению относительно значений у, для которых в определении критической области критерия наибольшей мощности имеем Следовательно, все равны друг другу, и мы можем положить Это означает, что все критерии наибольшей мощности с уровнем значимости а для проверки гипотезы относительно любой из простых гипотез, составляющих одинаковы; значит, данный критерий есть равномерно наиболее мощный критерий проверки относительно

Пример 14.3.5. Видоизменим теперь предыдущие примеры с тем, чтобы получить пример, в котором обе гипотезы являются сложными. Пусть — неизвестное действительное число. Требуется произвести выбор между двумя гипотезами;

и

Мы можем найти обобщенное отношение правдоподобия, определяемое равенством (14.30):

Максимум имеет место при том же значении , что и максимум . Поскольку является полиномом второй степени относительно , мы можем найти его экстремальную точку, приравняв нулю его производную. Таким образом,

Из вида ясно, что это значение определяет максимум и, следовательно, максимум Значение , при котором имеет место максимум находится аналогично:

Подставив эти значения соответственно в выражения для и сделав несложные упрощения, получаем

Пусть

Тогда

есть область, где это выражение больше, чем .