Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике 1.5. БАЙЕСОВСКИЕ ОЦЕНКИ ДЛЯ РАЗЛИЧНЫХ ФУНКЦИИ ПОТЕРЬОбсудим кратко свойства байесовских оценок для некоторых: функций потерь, приведенных в предыдущем параграфе. Простая функция потерь (1.4.1.) Подставляя простую функцию потерь в формулу (1.4.11) и используя фильтрующее свойство дельта-функции
получим
Апостериорный риск
Рис. 1.5.1. Байесовская оценка параметра сигнала при простой функция потерь Иначе говоря, апостериорная плотность вероятности обращается в максимум при наличии одного максимума апостериорной плотности вероятности или в максимум максиморум (глобальный или абсолютный максимум) при наличии нескольких максимумов апостериорной плотности вероятности оцениваемого параметра. Это означает, что в качестве байесовской оценки параметра сигнала должно быть взято наиболее вероятное значение
Если апостериорная плотность вероятности дифференцируема по параметру I, то оценка
причем из всех корней уравнения берется тот корень, для которого справедливо соотношение
Второй член в правой части (1.5.5) представляет собой (с точностью до некоторого постоянного коэффициента) среднюю вероятность правильного решения, и, следовательно, байесовская оценка при простой функции потерь максимизирует вероятность правильного решения. Байесовский риск в данном случае пропорционален вероятности неправильного решения. Поэтому байесовская оценка параметра сигнала при простой функции потерь минимизирует вероятность неправильного решения. При этом всем ошибкам приписывается одинаковый вес В литературе байесовская оценка при простой функции потерь известна также под названием оценки по максимуму (максимуму максиморуму) апостериорной плотности вероятности. Если априорная плотность вероятности Оценки максимального правдоподобия, как правило, находят применение в следующих случаях: — оцениваемый параметр хотя и неизвестен, но не случаен; — априорное распределение оцениваемого параметра неизвестно; — получение (формирование) апостериорного распределения сложнее, чем получение (формирование) функции (отношения) правдоподобия. Метод максимального правдоподобия имеет ряд преимуществ перед другими методами оценки. Обсудим кратко эти преимущества, которые в основном сводятся к следующему [4, 14, 20, 27, 30]. 1. В практических приложениях оценка максимального правдоподобия для достаточно широкого класса априорных распределений оцениваемого параметра близка к оценке по максимуму апостериорной плотности вероятности, т. е. является байесовской при простой функции - потерь. Действительно, при больших отношениях сигнал/помеха априорное распределение в окрестности оценки часто можно считать достаточно постоянным и апостериорная плотность вероятности в этой области практически совпадает с отношением правдоподобия. Данное свойство является весьма важным, когда априорное распределение оцениваемого параметра неизвестно, а нахождение наименее предпочтительного априорного распределения сопряжено с большими математическими трудностями. 2. Оценки параметра по методу максимального правдоподобия не зависят от взаимно однозначного безынерционного (по оцениваемому параметру) преобразования выходного сигнала приемника вида
эквивалентно уравнению 3. Аналитическое определение качества оценки параметра сигнала по методу максимального правдоподобия связано с меньшими математическими трудностями, чем при использовании других методов оценки. Другие методы оценки, как правило, требуют математического или физического моделирования для определения характеристик качества оценки, что, в свою очередь, значительно усложняет процессы разработки и конструирования соответствующих измерителей параметров сигнала. 4. В математической статистике показывается [14], что если существует эффективная оценка, то оценка максимального правдоподобия является эффективной. 5. При приеме сигнала на фоне нормального шума алгоритм оценки максимального правдоподобия не зависит от мощности помехи [16, 30]. Кроме того, при неограниченном увеличении отношения сигнал/помеха оценка максимального правдоподобия асимптотически эффективная и насмешенная, она является предельной формой байесовских оценок для широких классов априорных распределений и функций потерь. Ьолее подробно асимптотические свойства оценки максимального правдоподобия обсуждаются дальше. Эти и более частные достоинства метода максимального правдоподобия обусловливают его широкое при менение. Вместе с тем следует отметить, что оценки параметров сигнала по методу максимального правдоподобия обладают существенным недостатком, который в значительной мере снижает эффективность этого метода при больших уровнях помех и больших интервалах возможных, значений оцениваемого параметра за счет появления «ложных» максимумов максиморумов, вызванных помехами. Линейная по модулю функция потерь Согласно (1.4.11) апостериорный риск для данной функции потерь, определяется из выражения
Освободимся от модуля в подынтегральном выражении, для чего интервал интегрирования
Из условия экстремума функции
или
При этом Из последнего выражения видно, что в качестве оценки параметра берется то его значение, при котором площади под кривой апостериорной плотности вероятности слева и справа равны, т. е. байесовская оценка представляет медиану апостериорного распределения (рис. 1.5.2). Анализируя выражение байесовского риска при «линейной» функции потерь
видим, что байесовский риск равен минимальному среднему значению модуля отклонения медианы апостериорного распределения от истинного значения оцениваемого параметра.
Рис. 1.5.2. Байесовская оценка параметра сигнала при линейной функции потерь. Квадратичная функция потерь (1.4.3) Для квадратичной функции потерь согласно (1.4.11) имеем
Из условия экстремума функции
Следовательно, в качестве оценки параметра
Рис. 1.5.3. Байесовская оценка параметра сигнала при квадратичной функции потерь. Величина
Оценка (1.5.12) находилась из условия минимума среднего риска, который пропорционален среднему квадрату ошибки. Поэтому можно утверждать что байесовская оценка при квадратичной функции потерь минимизирует безусловное рассеяние оценки. Это значит, что условно несмещенная байесовская оценка при квадратичной функции потерь минимизирует дисперсию оценки. Иначе говоря, байесовская оценка при квадратичной функции потерь обеспечивает минимальное значение рассеяния оценки относительно истинного значения оцениваемого параметра среди всех возможных оценок параметров сигнала. Отметим еще одно свойство байесовской оценки параметра сигнала при квадратичной функции потерь. Оценка (1,5.12) всегда безусловно несмещенная, т. е.
Действительно, подставляя в (1.5.12) значение апостериорной плотности вероятности (1.1.2) и усредняя это выражение по выборке наблюдаемых данных X, можно записать
Меняя в последней части этого равенства порядок интегрирования и учитывая условие нормировки, приходим к выражению (1.5.14). Квадратичная функция потерь пропорциональна квадрату «расстояния» оценки от истинного значения параметра, т. е. веем ошибкам приписывается вес возрастающий как квадрат их величины. Такого рода потери часто встречаются в различных приложениях математической статистики и теории связи. Однако несмотря на то, что квадратичная функция потерь обладает рядом достоинств (удобна с математической точки зрения в достаточной степени учитывает большее значение больших ошибок по сравнению с малыми и т. д.), в задаче оценки параметра сигнала она используется сравнительно редко. Это связана с тем, что для большинства реальных параметров и сигналов устройство для получения оценки (1.5.12) оказывается весьма сложным при его практическом осуществлении. Вычислить рассеяние байесовской оценки при квадратичной функции потерь для большинства задач пока не удается, поскольку не представляется возможным достаточно просто представить аналитически апостериорную плотность вероятности Прямоугольная функция потерь (1.4.4)Для прямоугольной функции потерь характерно, что все мгновенные ошибки, которые по модулю меньше заданного значения Подставляя (1.4.4) в (1.4.11) и разбивая интервал интегрирования на три подынтервала:
Из этого выражения видно, что в качестве байесовской оценки при прямоугольной функции потерь надо выбирать значение Уравнение для оценки
или
Уравнение (1.5.18) показывает, что в качестве байесовской оценки параметра сигнала необходимо взять то значение параметра
Рис. 1.5.4. Байесовская оценка параметра сигнала при прямоугольной функции потерь. Если апостериорная плотность вероятности
Подставляя последнее соотношение в (1.5.17), получаем уравнение
которое совпадает с уравнением (1.5.4). Следовательно, при малых величинах «зоны нечувствительности» Байесовский риск (1.4.9) для прямоугольной функции потерь равен
Случайная величина (1.5.16) представляет собой апостериорную вероятность того, что в данной реализации истинное значение оцениваемого параметра не заключено в интервале Таким образом, байесовская оценка при прямоугольной функции потерь максимизирует вероятность того, что истинное значение оцениваемого параметра сигнала будет лежать в пределах Информационная функция потерь (1.4.6)В отличие от рассмотренных выше функций потерь вида (1.4,1) - (1.4.5), которые позволяют находить правило выбора решения, минимизирующее соответствующие средние потери, функция потерь (1.4.6) в большей степени подходит для оценки качества того или иного правила выбора решения с информационной точки зрения. Обладая достаточно общими свойствами, информационный критерий позволяет в единой мере сравнивать между собой различные решающие правила. Однако из-за того, что информационная функция потерь зависит не только от принятой оценки и истинного значения параметра, но и от правила выбора решения, задача определения байесовской оценки при информационной функции потерь является весьма сложной и в настоящее время не имеет общего решения. Апостериорный риск для информационной функции потерь получаем, подставляя (1.4.6) в (1.4.11):
Это выражение представляет собой апостериорную неопределенность решения у относительно истинного значения параметра после того, как принята реализация Соответственно апостериорная неопределенность реализации
Естественно, наибольшая информация (наименьшая неопределенность) содержится в апостериорном распределении. Любая обработка апостериорного распределения принципиально может только уменьшить количество воспринимаемой наблюдателем информации (увеличится неопределенность) из-за несовершенства решающего устройства. Поэтому для любого решающего правила справедливо соотношение
Иначе говоря, величина
и соотношения (1.5.21), (1.5.22) совпадают, т. е. Таким образом, байесовской оценкой при информационной функции потерь является любая достаточная оценка. Поэтому сравнение различных правил выбора решения по величине среднего риска при информационной функции потерь имеет смысл, если эти правила выбора решения не приводят к достаточным оценкам. Среднее значение апостериорной неопределенности и средний риск при информационной функции потерь будут равны
где
то байесовская оценка при информационной функции потерь минимизирует потери информации при вынесении решения. В частности, если оценка является достаточной, то потери информации отсутствуют.
|
1 |
Оглавление
|