1.4. ОСНОВНЫЕ ПОЛОЖЕНИЯ ТЕОРИИ СТАТИСТИЧЕСКИХ ОЦЕНОК

В теории статистических оценок различают два вида правил выбора решения: неслучайные (нерандомизированные) и случайные (рандомизированные).

Для неслучайного правила выбора решения (оценки) по каждой конкретной реализации принятых данных принимается одно, вполне определенное решение, т. е. между принятой реализацией и выносимым решением существует детерминированная зависимость, Тем не менее в силу случайного характера наблюдаемых данных решения при оценке являются случайными величинами.

Для случайного правила выбора решения по каждой конкретной реализации принимается не одно какое-нибудь решение, а задается вероятность того или иного решения, т. е. зависимость между принятой реализацией и выносимым решением носит вероятностный характер. Поскольку в большинстве случаев можно избежать рандомизации правила выбора решения, далее рассматриваются только нерандомпзированные (неслучайные) правила выбора решения.

Из-за случайного характера наблюдаемой реализации при любом правиле выбора решения неизбежны ошибки в том смысле, что принятое решение у (оценка) не совпадает с истинным значением параметра Очевидно, при различных правилах выбора решения ошибки различной величины будут появляться с различной вероятностью При этом в зависимости от цели получения оценки последствия проявления ошибок могут быть различными. Поскольку всегда имеется отличная от нуля вероятность ошибки, то необходимо тем или иным образом охарактеризовать качество различных оценок. С этой целью в теории решений введено понятие функции потерь. Эта функция каждой комбинации из решения у и параметра I приписывает определенную потерю Обычно потери выбирают неотрицательными, а правильным решениям приписывают нулевые потери.

Физический смысл функции потерь состоит в том, что каждой возможной ошибке приписывается определенный неотрицательный вес. При этом в зависимости от целей, для которых находится оценка, наименее желательным ошибкам приписываются наибольшие веса. Выбор той или иной функции потерь производится в зависимости от конкретной специфики задачи, для которой находится оценка, и выходит за рамки теории статистических решений. К сожалению, не существует общего формального правила выбора функции потерь, и он в той или иной степени является субъективным. Определенный произвол в выборе потерь приводит к трудностям в использовании методов теории статистических решений.

Наиболее часто используются следующие функции потерь (рис. 1.4.1):

а) простая

где дельта-функция Дирака;

б) «линейная» по модулю

в) квадратичная

г) прямоугольная

д) экспоненциальная (функция потерь с насыщением)

Приведенные функции потерь являются симметричными функциями разности При этом отклонения оценки параметра в одну и другую стороны относительно истинного значения оцениваемого параметра одинаково нежелательны. Вместе с этим не исключены задачи, где для специфических прикладных вопросов могут встретиться случаи, в которых отношение наблюдателя к знаку ошибки разное. Для таких ситуаций функции потерь будут несимметричными.

Рис. 1.4.1. Функция потерь: а — простая; линейная; в — квадратичная; прямоугольная; экспоненциальная.

Примером несимметричной функции потерь может служить так называемая информационная: функция потерь внда

Здесь — условная плотность вероятности параметра если принята оценка (решение) у. Следует, однако, отметить, что в частном случае и эта функция потерь может быть симметричной, если, например, условная плотность вероятности описывается гауссовой кривой или какой-либо другой четной функцией относительно некоторой фиксированной точки

Функцию потерь (1.4.6) можно интерпретировать как меру неопределенности относительно параметра I, если известна опенка у. Неопределенность понимается в смысле, принятом в теории информации [20, 27]. Функция потерь (1.4.6) в отличие от (1.4.1) -(1.4.5) зависит не только от оценки у и значения параметра по и от принятого правила выбора решения.

В силу случайного характера оценок у и параметра I потери при любом правиле выбора решения Являются случайными и не могут быть использованы для характеристики качества оценки (правила выбора решения). Для характеристики качества оценки можно принять среднее значение функции потерь, которое будет учитывать все возможные типы поведения системы оценки, все виды ошибок и относительную частоту их появления. Выбор для характеристики качества оценки среднего значения (а не другой статистической характеристики) функции потерь является хотя и произвольным, но рациональным.

Среднее значение (условное или безусловное) функции потерь называется риском (условным или безусловным). Условный риск получается путем усреднения функций потерь по всевозможным значениям многомерной выборки наблюдаемых данных, характеризуемой условной плотностью вероятности

Из этого выражения и определения функции потерь следует, что более предпочтительными оценками будут те оценки, при которых условный риск минимален. Однако при разных значениях оцениваемого параметра I условный риск будет иметь различные значения. Поэтому могут быть различными наиболее предпочтительные решающие правила (оценки). Значит если известно априорное распределение значений оцениваемого параметра, то наилучшее правило выбора решения (оценку) целесообразно искать исходя из условия минимума безусловного среднего риска:

где плотность вероятности выборки наблюдаемых данных.

Оденки, получаемые критерию минимального условного или безусловного (среднего) риска называются соответственно условными и безусловными байесовскими оценками. Безусловная байесовская оценка часто называется просто байесовской оценкой. В дальнейшем под байесовской оценкой параметра I будем понимать оценку, обеспечивающую минимальное значение безусловного среднего риска (1.4.8) при заданной функции потерь Минимальное значение безусловного среднего риска, соответствующее байесовской оценке, называют байесовским риском

Здесь усреднение выполняется по выборкам (при дискретной обработке) наблюдаемых данных X или по реализациям (при непрерывной обработке)

Безусловный средний риск (1.4.8) может быть вычислен для любого заданного правила выбора решения (оценки), причем в силу определения байесовской оценки всегда выполняется условие

Вычисляя средний риск (1.4.8) для различных оценок и сравнивая эти рискн между собой и байесовским риском, можно суднть, насколько одна оценка лучше другой и насколько какая-либо оценка близка к оптимальной (байесовской) оценке.

Та к как сам риск (условный или безусловный) имеет различный физический смысл в зависимости от вида и физической интерпретации функции потерь то смысл критерия оптимальности зависит также от вида функции потерь.

Поскольку плотность вероятности есть неотрицательная функция, то минимизация выражения (1.4.8) по у сводится к минимизации функции

называемой апостериорным риском, при фиксированной выборке (реализации) наблюдаемых данных. Если апостериорный риск дифференцируем по у, то байесовская оценка может быть найдена как решение уравнения

При этом следует брать корень уравнения, обеспечивающий глобальный минимум (минимум миниморум) апостериорного риска.

Критерий минимума среднего риска основаи на использовании полной априорной информации об оцениваемом параметре, т. е. дает ответ на вопрос, каким образом надо использовать всю априорную информацию, чтобы получить наилучшую оценку, Однако отсутствие полной априорной информации об оцениваемом параметре, которое имеет место в ряде прикладных задач, приводит к определенным трудностям (априорные трудности) в применении методов теории статистических решений. Известно несколько подходов к решению задачи нахождения оптимальных оценок при неизвестном априорном распределении оцениваемого параметра. Один из них заключается в отыскании байесовских оценок, инвариантных по отношению к достаточно широкому классу априорных распределений, В других случаях либо ограничиваются выбором оценки на основе минимизации условного риска, либо делают какие-либо предположения относительно априорного распределения оцениваемого параметра.

Если в качестве априорного распределения оцениваемого параметра взяю наименее предпочтительное распределение, при котором байесовский риск будет максимален, то получаемая оценка параметра сигнала называется минимаксной. Минимаксная оценка дает оптимальное решение только для самого наихудшего случая и определяет верхнюю границу байесовского рска, которую называют минимаксным риском, Хотя минимаксная оценка может приводить к большим потерям, чем другая оценка, она может быть полезной, если желательно застраховаться от потерь за счет оценивания в наиболее неблагоприятных априорных условиях.

В соответствии с определением минимаксная оценка может быть найдена следующим образом. Для произвольного априорного распределения в соответствии с заданной функцией потерь ищется байесовская оценка Затем подбирается такое априорное распределение оцениваемого параметра, при котором минимальное значение среднего риска (байесовский риск) достигает максимума. Байесовская оценка при таком априорном распределении будет минимаксной.

Следует отметить, что строгое нахождение наименее предпочтительного априорного распределения сопряжено с большими математическими трудностями. Однако в большом числе прикладных задач, в том числе в задачах оценки параметров сигналов при наличии помех, наименее предпочтительным распределением является равномерное (в заданном интервале) распределение.