2.4.1. Случайные параметры. Байесовская оценка

В байесовской задаче обнаружения двумя величинами, которыми необходимо было задаваться, являлись система стоимостей и система априорных вероятностей Стоимости всех возможных образов

действия определялись стоимостной матрицей. Поскольку у нас имелось гипотез и возможных решений, то было стоимостей.

В задаче оценки а и являются непрерывными величинами: Следовательно, мы должны приписать некоторую стоимость всем парам во всей интересующей нас области изменения. Указанная стоимость является функцией двух переменных, которую обозначим через

Рис. 2.18. Типичные функции стоимости (потерь): а — средний квадрат ошибки; б - абсолютная ошибка; в — равномерная функция потерь.

Во многих случаях, представляющих интерес, можно вполне реалистично предполагать, что стоимость зависит только от погрешности (ошибки) оценки. Обозначим эту ошибку как

Функция стоимости или потерь есть функция одной переменной. Некоторые типичные функции стоимости показаны на рис. 2.18. Функция стоимости рис. 2.18, а есть просто квадрат ошибки

Эту функцию обычно называют квадратичной функцией стоимости (потерь). Нетрудно заметить, что она подчеркивает значимость больших ошибок. Функция стоймости рис. 2.18, б является абсолютной величиной ошибки

На рис. 2.18, в всем ошибкам меньше приписывается нулевая стоимость. Другими словами, ошибка величиной не более по стоимости оценивается наравне с отсутствием ошибки. Если же то ошибке приписывается единичная стоимость:

В любой конкретной задаче мы выбираем функцию стоимости из двух соображений. Во-первых, желательно, чтобы функция стоимости

служила адекватной мерой степени удовлетворения потребителя. Зачастую бывает затруднительно указать аналитическую меру тому, что принципиально может являться качеством субъективным.

Наша цель заключается в отыскании оценки, которая минимизирует ожидаемую величину стоимости. Поэтому второе соображение при выборе функции стоимости заключается в том, чтобы задаться такой функцией стоимости, которая приводила бы к разрешимой задаче.

На практике функции стоимости обычно выбираются как компромисс между этими двумя требованиями. Следует заметить, что во многих представляющих интерес задачах одна и та же оценка может быть оптимальной для широкого класса функций стоимости.

Подобно априорным вероятностям в задаче обнаружения в задаче оценки случайного параметра предполагается известной априорная плотность вероятности Если же неизвестна, то можно использовать процедуру, аналогичную минимаксному испытанию (правилу минимакса).

Если функция стоимости и априорная вероятность заданы, то можно написать выражение для риска:

Математическое ожидание в (122) берется по случайной величине а и наблюдаемым величинам Для стоимостей, являющихся функциями только одной переменной, (122) можно записать в виде

Байесовская оценка — это оценка, минимизирующая, риск. Байесовские оценки для функций-стоимости, приведенных на рис. 2.18, можно найти простым и непосредственным способом. Для функции стоимости рис. 2.18, а риск соответствует средцеквадратической ошибке. Обозначим риск для критерия среднеквадратической ошибки через Подставляя (119) в (123), получаем

Выражение для совместной плотности вероятности можно переписать в виде

Используя (125) в (124), имеем

Внутренний интеграл и в (125) неотрицательны. Следовательно, можно минимизировать путем минимизации внутреннего интеграла. Обозначим эту оценку как Для ее отыскания продифференцируем внутренний интеграл по

Приравнивая результат нулю и замечая, что второй интеграл равен единице, получаем

Этот минимум является единственным, так как вторая производная равна постоянной величине, равной 2. Член в правой части (128) известен как среднее значение апостериорной плотности (или условное среднее).

Из (126) видно, что если условное среднее, то внутренний интеграл есть просто апостериорная дисперсия (или условная дисперсия). Поэтому минимальное значение есть просто среднее условной дисперсии по всем наблюдениям Чтобы найти байесовскую оценку для критерия абсолютной величины ошибки (рис. 2.18, б), напишем выражение для риска:

Для минимизации внутреннего интеграла разобьем его на два:

Дифференцируя и приравнивая результат нулю, получим

Это просто математическая запись определения медианы апостериорной плотности.

Третьим критерием служит равномерная функция стоимости рис. 2.18, в. Выражение для риска в этом случае имеет вид

Для минимизации риска необходимо максимизировать внутренний интеграл. Особый интерес представляет случай, когда А является сколь угодно малым, но отличным от нуля чцслом. Типичная апостериорная плотность вероятности изображена на рис. 2.19. Нетрудно заметить, что для малых А наилучшим выбором для является такое значение при котором апостериорная плотность имеет максимум. Обозначим оценку для указанного частного случая как максимальную апостериорную оценку. В последующем используется без дополнительного упоминания единичной функции стоимости.

Рис. 2.19. Апостериорная плотность.

Для отыскания нам необходимо знать положение максимума

Так как логарифм — функция монотонная, то расположение максимума можно одинаково успешно отыскать по функции Как было показано в задаче обнаружения, такой прием часто бывает более удобным.

Если максимум лежит внутри допустимой области изменения имеет непрерывную первую производную, то необходимое, но недостаточное условие отыскания максимума можно получить путем дифференцирования по А и приравнивания результата нулю:

Уравнение (133) мы называем уравнением максимальной апостериорной вероятности. В каждом случае необходимо убедиться, является ли решение абсолютным максимумом.

Выражение для можно переписать с тем, чтобы разделить роли наблюдаемого вектора и априорных сведений:

Прологарифмировав, получим

Для оценки по максимуму апостериорной вероятности нам необходимо только найти такое значение А, при котором левая часть (135) максимальна. Так как последний член правой части от А не зависит, то достаточно рассмотреть только функцию

Первбе слагаемое дает вероятностную зависимость от а второе слагаемое характеризует априорные сведения

Уравнение максимальной апостериорной вероятности можно записать в виде

При дальнейшем изложении оценкам по минимуму среднеквадратической ошибки и по максимуму апостериорной вероятности будет уделяться основное внимание.

Для изучения вопросов применения двух указанных процедур оценки рассмотрим примеры 2—4.

Пример 2. Пусть

Предполагается, что а — нормальная величина, независимые нормальные величины, Тогда

Для отыскания необходимо знать Один из способов — это найти подставить найденное значение в (134). Однако такой путь связан с утомительными алгебраическими преобразованиями. Более простой вариант — принять во внимание, что есть плотность вероятности а для любого Таким образом, учитывается постоянной величиной, необходимой для нормировки,

(Другими словами, есть просто постоянный нормирующий множитель). Следовательно,

Произведя перегруппировку членов под знаком экспоненты выполнив действие возведения в квадрат и выделив члены, зависящие только от в постоянный коэффициент, получим

где

апостериорная дисперсия.

Видим, что есть просто плотность нормального распределения. Оценка же есть просто условное среднее

Поскольку апостериорная дисперсия не зависит от среднеквадратичен ский риск равен апостериорной дисперсии (см.

В связи с изложенным полезно сделать два замечания.

1. R входят в выражение для апостериорной плотности только в виде суммы. Поэтому,

является достаточной статистикой. Это понятие идентично понятию достаточной статистики в задаче обнаружения.

2. При реализации правила оценки имеющаяся информация используется следующим образом. Если то объем априорных сведений гораздо больше объема данных, полученных в результате наблюдений, и оценка весьма близка к априорному среднему (в этом случае априорное среднее равно нулю). С другой стороны, если то априорная информация незначительна и при оценке используется в основном принятая информация. В пределе есть просто арифметическое среднее

Оценку по максимуму апостериорной вероятности для этого случая получить несложно. Из (142) следует, что, поскольку распределение вероятностей нормально, максимальное значение имеет место при условном среднем. Таким образом,

Ввиду того, что условная медиана нормального распределения имеет место при условном среднем, получаем

Итак, мы убедились, что для данного конкретного примера все три функции стоимости рис. 2.18 приводят к одинаковой оценке. Указанная инвариантность по отношению к выбору функции стоимости является, по-видимому, полезной особенностью ввиду субъективности

тех соображений, которые часто кладутся в основу выбора Некоторые условия, при которых эта инвариантность соблюдается, развиты в следующих двух свойствах функции стоимости.

Свойство 1. Предположим, что данная функция стоимости есть симметричная выпуклая функция, обращенная вогнутостью вверх, и что апостериорная плотность симметрична относительно условного среднего, т. е.

при любом внутри области изменения (0,1) и при всех и Уравнение (150) просто утверждает, что все хорды лежат выше кривой функции стоимости, либо на ней.

Рис. 2.20. Симметричные выпуклые функции стоимости (потерь): а — выпуклая; строго выпуклая.

Это условие иллюстрирует рис. 2.20, а. Если неравенство (150) при всегда является строгим, то мы говорим, что данная функция стоимости является строго выпуклой (обращенной вогнутостью вверх).

Введем величину

Исходя из симметрии апостериорной плотности, можно написать

Оценка а, которая минимизирует какую угодно функцию стоимости в этом классе, идентична условному среднему).

Доказательство. Как и ранее, можно минимизировать условный риск [см. (126)], который запишем в виде

где второе равенство вытекает из (149). Запишем теперь четыре эквивалентных выражения для

[это равенство следует из (153)]

[это равенство следует из (152)]

[это равенство следует из (149)]

[это равенство следует из (152)].

Используем теперь условие выпуклости (150) вместе с (155) и (157):

Равенство в (158) будет достигнуто, если Этим и завершается требуемое доказательство. Если функция строго выпуклая, то мы получим дополнительный результат, а именно, что минимизирующая оценка а является единственной и равна

Чтобы охватить функции стоимости типа единичных функций стоимости, которые не являются выпуклыми, необходимо установить второе свойство.

Свойство 2. Предположим, что функция стоимости есть симметричная неубывающая функция и что апостериорная плотность симметричная (относительно условного среднего) унимодальная функция, удовлетворяющая условию

Оценка а, которая минимизирует любую функцию стоимости этого класса, идентична Доказательство этого свойства аналогично приведенному выше [36].

Значения двух указанных свойств не следует недооценивать. На протяжении книги мы рассматриваем только оценки по минимуму среднеквадратической ошибки и по максимуму апостериорной

ности. Свойства 1 и 2 гарантируют, что если апостериорные плотности удовлетворяют указанным выше предположениям, то получаемые нами оценки будут оптимальными для широкого класса функций стоимости. Очевидно, если апостериорная плотность является гауссовой, то она удовлетворйет сделанным выше допущениям.

Рассмотрим теперь два примера другого типа.

Пример 3. Переменная а входит в сигнал в виде нелинейной зависимости. Обозначим эту зависимость через Результат каждого наблюдения есть сумма и нормальной случайной величины Всея статистически независимы друг от друга и от а. Таким образом,

Поэтому

Это выражение не допускает дальнейшего упрощения, если не задано в явном виде.

Уравнение максимальной апостериорной вероятности получается подстановкой (160) в (137):

Для решения его в явном виде необходимо задать Будет показано, что аналитическое решение вообще невозможно, если является нелинейной функцией

Другой тип часто встречающихся задач связан с оценкой параметра распределения вероятностей.

Пример 4 Число событий в эксперименте подчиняется пуассоновскому закону распределения со средним значением а. Таким образом,

Мы хотим наблюдать число событий и оценить параметр а пуассоновского распределения. Будем полагать, что а является случайной величиной с экспоненциальной плотностью

Апостериорная плотность а равна

Подставляя (162) и (163) в (164), имеем

где

с тем, чтобы интеграл от плотности вероятности равнялся единице. уже отмечалось, постоянный множитель не имеет значения для оценки по максимуму апостериорной вероятности, но необходим в том случае, если мы отыскиваем среднеквадратическую оценку путем интегрирования условной плотности).

Среднеквадратическая оценка есть условное среднее:

Для отыскания прологарифмируем (165):

Дифференцируя по приравнивая результат нулю и решая, получим

Заметим, что не равна

Другие примеры приводятся в задачах вне основного текста. Наиболее важные результаты данного параграфа сводятся к следующему.

1. Оценка по минимуму среднеквадратической ошибки всегда есть среднее апостериорной плотности (условное среднее).

2. Оценка по максимуму апостериорной вероятности равна значению величины при котором апостериорная плотность имеет максимум.

3. Для широкого класса функций стоимости оптимальная оценка есть условное среднее, если апостериорная плотность является унимодальной функцией, симметричной относительно условного среднего.

Эти выводы служат основой для большей части наших дальнейших исследований по теории оценок. Единственным затруднением, с которым мы встретимся при изучении более сложных задач, являются вопросы фактической оценки условного среднего и максимума. Во многих случаях, представляющих интерес, оценки по минимуму среднеквадратической ошибки и по максимуму апостериорной вероятности оказываются одинаковыми.

Обратимся теперь ко второму классу задач оценки, упомянутому в введении.