1.5. БАЙЕСОВСКИЕ ОЦЕНКИ ДЛЯ РАЗЛИЧНЫХ ФУНКЦИИ ПОТЕРЬ

Обсудим кратко свойства байесовских оценок для некоторых: функций потерь, приведенных в предыдущем параграфе.

Простая функция потерь (1.4.1.)

Подставляя простую функцию потерь в формулу (1.4.11) и используя фильтрующее свойство дельта-функции

получим

Апостериорный риск а следовательно, и средний риск будут минимальны, если апостериорная плотность вероятности для данной оценки принимает наибольшее значение всех возможных значений.

Рис. 1.5.1. Байесовская оценка параметра сигнала при простой функция потерь

Иначе говоря, апостериорная плотность вероятности обращается в максимум при наличии одного максимума апостериорной плотности вероятности или в максимум максиморум (глобальный или абсолютный максимум) при наличии нескольких максимумов апостериорной плотности вероятности оцениваемого параметра. Это означает, что в качестве байесовской оценки параметра сигнала должно быть взято наиболее вероятное значение (рис. 1.5.1), при котором выполняется условие

Если апостериорная плотность вероятности дифференцируема по параметру I, то оценка может быть найдена из решения уравнения

причем из всех корней уравнения берется тот корень, для которого справедливо соотношение Подставляя простую функцию потерь в (1.4.9), получаем выражение для байесовского риска

Второй член в правой части (1.5.5) представляет собой (с точностью до некоторого постоянного коэффициента) среднюю вероятность правильного решения, и, следовательно, байесовская оценка при простой функции потерь максимизирует вероятность правильного решения. Байесовский риск в данном случае пропорционален вероятности неправильного решения. Поэтому байесовская оценка параметра

сигнала при простой функции потерь минимизирует вероятность неправильного решения. При этом всем ошибкам приписывается одинаковый вес , т. е. предполагается, что все ошибки нежелательны независимо от их величины.

В литературе байесовская оценка при простой функции потерь известна также под названием оценки по максимуму (максимуму максиморуму) апостериорной плотности вероятности.

Если априорная плотность вероятности постоянна в интервале возможных значений оцениваемого параметра, то согласно (1.1.12) апостериорная плотность вероятности с точностью до постоянного множителя совпадает с отношением правдоподобия Оценка по максимуму апостериорной плотности вероятности переходит при этом в оценку максимального правдоподобия Оценка максимального правдоподобия определяется как положение максимума максиморума отношения правдоподобия

Оценки максимального правдоподобия, как правило, находят применение в следующих случаях:

— оцениваемый параметр хотя и неизвестен, но не случаен;

— априорное распределение оцениваемого параметра неизвестно;

— получение (формирование) апостериорного распределения сложнее, чем получение (формирование) функции (отношения) правдоподобия.

Метод максимального правдоподобия имеет ряд преимуществ перед другими методами оценки. Обсудим кратко эти преимущества, которые в основном сводятся к следующему [4, 14, 20, 27, 30].

1. В практических приложениях оценка максимального правдоподобия для достаточно широкого класса априорных распределений оцениваемого параметра близка к оценке по максимуму апостериорной плотности вероятности, т. е. является байесовской при простой функции - потерь. Действительно, при больших отношениях сигнал/помеха априорное распределение в окрестности оценки часто можно считать достаточно постоянным и апостериорная плотность вероятности в этой области практически совпадает с отношением правдоподобия. Данное свойство является весьма важным, когда априорное распределение оцениваемого параметра неизвестно, а нахождение наименее предпочтительного априорного распределения сопряжено с большими математическими трудностями.

2. Оценки параметра по методу максимального правдоподобия не зависят от взаимно однозначного безынерционного (по оцениваемому параметру) преобразования выходного сигнала приемника вида как точка максимального правдоподобия остается инвариантной при этих преобразованиях. Действительно, уравнение правдоподобия

эквивалентно уравнению Это свойство имеет большое значение при практической реализации приемных и решающих устройств.

3. Аналитическое определение качества оценки параметра сигнала по методу максимального правдоподобия связано с меньшими математическими трудностями, чем при использовании других методов оценки.

Другие методы оценки, как правило, требуют математического или физического моделирования для определения характеристик качества оценки, что, в свою очередь, значительно усложняет процессы разработки и конструирования соответствующих измерителей параметров сигнала.

4. В математической статистике показывается [14], что если существует эффективная оценка, то оценка максимального правдоподобия является эффективной.

5. При приеме сигнала на фоне нормального шума алгоритм оценки максимального правдоподобия не зависит от мощности помехи [16, 30]. Кроме того, при неограниченном увеличении отношения сигнал/помеха оценка максимального правдоподобия асимптотически эффективная и насмешенная, она является предельной формой байесовских оценок для широких классов априорных распределений и функций потерь. Ьолее подробно асимптотические свойства оценки максимального правдоподобия обсуждаются дальше. Эти и более частные достоинства метода максимального правдоподобия обусловливают его широкое при менение.

Вместе с тем следует отметить, что оценки параметров сигнала по методу максимального правдоподобия обладают существенным недостатком, который в значительной мере снижает эффективность этого метода при больших уровнях помех и больших интервалах возможных, значений оцениваемого параметра за счет появления «ложных» максимумов максиморумов, вызванных помехами.

Линейная по модулю функция потерь

Согласно (1.4.11) апостериорный риск для данной функции потерь, определяется из выражения

Освободимся от модуля в подынтегральном выражении, для чего интервал интегрирования разобъем на два интервала: — в каждом из которых можно отбросить знак модуля. Тогда (1.5.6) перепишется в виде

Из условия экстремума функции получаем уравнение для оценки

или

При этом соответствует минимуму

Из последнего выражения видно, что в качестве оценки параметра берется то его значение, при котором площади под кривой апостериорной плотности вероятности слева и справа равны, т. е. байесовская оценка представляет медиану апостериорного распределения (рис. 1.5.2).

Анализируя выражение байесовского риска при «линейной» функции потерь

видим, что байесовский риск равен минимальному среднему значению модуля отклонения медианы апостериорного распределения от истинного значения оцениваемого параметра.

Рис. 1.5.2. Байесовская оценка параметра сигнала при линейной функции потерь.

Квадратичная функция потерь (1.4.3) Для квадратичной функции потерь согласно (1.4.11) имеем

Из условия экстремума функции получаем выражение для оценки

Следовательно, в качестве оценки параметра при квадратичной функции потерь следует брать среднее значение апостериорного распределения («центр тяжести» апостериорного распределения) {рис, 1.5.3) .

Рис. 1.5.3. Байесовская оценка параметра сигнала при квадратичной функции потерь.

Величина характеризует минимальное мгновенное значение квадрата ошибки Оценки параметра сигнала. Поскольку зависит от конкретного вида реализации смеси сигнала и помехи мгновенное значение квадрата ошибки явлйется случайным. Байесовский риск при квадратичной функции потерь совпадает с рассеянием оценки (1.2.6) и равен

Оценка (1.5.12) находилась из условия минимума среднего риска, который пропорционален среднему квадрату ошибки. Поэтому можно утверждать что байесовская оценка при квадратичной функции потерь минимизирует безусловное рассеяние оценки. Это значит, что условно несмещенная байесовская оценка при квадратичной функции потерь минимизирует дисперсию оценки. Иначе говоря, байесовская оценка при квадратичной функции потерь обеспечивает минимальное значение рассеяния оценки относительно истинного значения оцениваемого параметра среди всех возможных оценок параметров сигнала.

Отметим еще одно свойство байесовской оценки параметра сигнала при квадратичной функции потерь. Оценка (1,5.12) всегда безусловно несмещенная, т. е.

Действительно, подставляя в (1.5.12) значение апостериорной плотности вероятности (1.1.2) и усредняя это выражение по выборке наблюдаемых данных X, можно записать

Меняя в последней части этого равенства порядок интегрирования и учитывая условие нормировки, приходим к выражению (1.5.14).

Квадратичная функция потерь пропорциональна квадрату «расстояния» оценки от истинного значения параметра, т. е. веем ошибкам приписывается вес возрастающий как квадрат их величины. Такого рода потери часто встречаются в различных приложениях математической статистики и теории связи. Однако несмотря на то, что квадратичная функция потерь обладает рядом достоинств (удобна с математической точки зрения в достаточной степени учитывает большее значение больших ошибок по сравнению с малыми и т. д.), в задаче оценки параметра сигнала она используется сравнительно редко. Это связана с тем, что для большинства реальных параметров и сигналов устройство для получения оценки (1.5.12) оказывается весьма сложным при его практическом осуществлении. Вычислить рассеяние байесовской оценки при квадратичной функции потерь для большинства задач пока не удается, поскольку не представляется возможным достаточно просто представить аналитически апостериорную плотность вероятности на веем интервале возможных значений оцениваемого параметра.

Прямоугольная функция потерь (1.4.4)

Для прямоугольной функции потерь характерно, что все мгновенные ошибки, которые по модулю меньше заданного значения , одинаково неопасны для наблюдателя и с его точки зрения не приводят к какому-либо ухудшению качества оценки параметра. Ошибки, мгновенные значения которых по модулю превышают значения одинаково нежелательны и всем им приписывается одинаковый вес.

Подставляя (1.4.4) в (1.4.11) и разбивая интервал интегрирования на три подынтервала: имеем

Из этого выражения видно, что в качестве байесовской оценки при прямоугольной функции потерь надо выбирать значение для которого вероятность выполнения неравенства максимальна.

Уравнение для оценки находим из условия экстремума апостериорного риска

или

Уравнение (1.5.18) показывает, что в качестве байесовской оценки параметра сигнала необходимо взять то значение параметра при котором значения апостериорной плотности вероятности, соответствующие параметрам, отстоящим от оценки слева и справа на величину равны между собой (рис. 1.5.4).

Рис. 1.5.4. Байесовская оценка параметра сигнала при прямоугольной функции потерь.

Если апостериорная плотность вероятности дифференцируема, то для малых значений и можно ограничиться первыми тремя членами разложения в ряды Тейлора относительно точки апостериорных плотностей вероятности, входящих в выражение (1.5.18):

Подставляя последнее соотношение в (1.5.17), получаем уравнение

которое совпадает с уравнением (1.5.4). Следовательно, при малых величинах «зоны нечувствительности» байесовские оценки при простой и прямоугольной функциях потерь совпадают,

Байесовский риск (1.4.9) для прямоугольной функции потерь равен

Случайная величина (1.5.16) представляет собой апостериорную вероятность того, что в данной реализации истинное значение оцениваемого параметра не заключено в интервале случайная величина определяет апостериорную вероятность неправильного решения по данному критерию. При этом для байесовской оценки эта вероятность меньше, чем для любой другой оценки. Байесовский риск (1.5.20) определяет минимальную среднюю вероятность неправильного решения по данному критерию.

Таким образом, байесовская оценка при прямоугольной функции потерь максимизирует вероятность того, что истинное значение оцениваемого параметра сигнала будет лежать в пределах

Информационная функция потерь (1.4.6)

В отличие от рассмотренных выше функций потерь вида (1.4,1) - (1.4.5), которые позволяют находить правило выбора решения, минимизирующее соответствующие средние потери, функция потерь (1.4.6) в большей степени подходит для оценки качества того или иного правила выбора решения с информационной точки зрения. Обладая достаточно общими свойствами, информационный критерий позволяет в единой мере сравнивать между собой различные решающие правила. Однако из-за того, что информационная функция потерь зависит не только от принятой оценки и истинного значения параметра, но и от правила выбора решения, задача определения байесовской оценки при информационной функции потерь является весьма сложной и в настоящее время не имеет общего решения.

Апостериорный риск для информационной функции потерь получаем, подставляя (1.4.6) в (1.4.11):

Это выражение представляет собой апостериорную неопределенность решения у относительно истинного значения параметра после того, как принята реализация Соответственно апостериорная неопределенность реализации (т. е. до обработки) имеет вид

Естественно, наибольшая информация (наименьшая неопределенность) содержится в апостериорном распределении. Любая обработка апостериорного распределения принципиально может только уменьшить количество воспринимаемой наблюдателем информации (увеличится неопределенность) из-за несовершенства решающего устройства. Поэтому для любого решающего правила справедливо соотношение

Иначе говоря, величина определяет нижнюю границу апостериорного риска при информационной функции потерь. Неравенство переходит в равенство, если оценка у является достаточной. Действительно, если существует некоторая достаточная оценка то апостериорная плотность вероятности может быть записана в виде

и соотношения (1.5.21), (1.5.22) совпадают, т. е.

Таким образом, байесовской оценкой при информационной функции потерь является любая достаточная оценка. Поэтому сравнение различных правил выбора решения по величине среднего риска при информационной функции потерь имеет смысл, если эти правила выбора решения не приводят к достаточным оценкам.

Среднее значение апостериорной неопределенности и средний риск при информационной функции потерь будут равны

где - совместная плотность вероятности оцениваемого параметра и выборки наблюдаемых данных. Если ввести в рассмотрение среднее количество информации о параметре I, теряющееся при выполнении операции оценивания

то байесовская оценка при информационной функции потерь минимизирует потери информации при вынесении решения. В частности, если оценка является достаточной, то потери информации отсутствуют.