2. Байесовы оценки

Может иметь место такая ситуация, в которой ошибке в оценке приписывается определенная цена, точно так же, как это делалось в случае неправильных решений при испытании гипотез в гл. 3. Цена для экспериментатора того, что принята система оценок х некоторых или всех параметров х, когда их истинные значения является функцией истинных значений и оценок. Будучи функцией оценок, она имеет минимум при Часто эта функция зависит только от разности между оценками и истинными значениями параметров. Кроме функции потерь так же как в разд. 1 гл. 5, задается априорное распределение вероятностей истинных значений параметров. Наблюдатель может при этом применить критерий Байеса, при котором стратегия оценок дает минимум среднего риска.

Предположим, что было сделано некоторое количество измерений и соответствующая функция распределения результатов есть когда истинные значения параметров заданы системой а. Тогда риск при системе истинных параметров х выражается формулой

если использованы оценки . (Сравните это выражение с выражением для риска, определенного в разд. 2 гл. 3.) Средний риск при эксперименте дается при этом формулой

Система стратегий оценок, минимизирующая этот средний риск, называется байесовой оценкой, а получающееся при этом минимальное значение среднего риска — байесовым риском. Так же как при испытании гипотез, байесова стратегия может быть описана как стратегия, минимизирующая условный риск который мы сейчас определим.

Функция плотности апостериорного распределения вероятностей параметров при заданных измеренных значениях случайных величин х определяется соотношениями

где полная плотность вероятности результатов х. Плотность вероятности апостериорного распределения означает, что из всех экспериментов, в которых результат измерений представлялся вектором х, доля, в которой истинные значения параметров лежали в малом элементе объема вокруг точки а равнялась Условный риск является для экспериментатора средним риском при усреднении по всем тем опытам, в которых был получен результат х, так что

Этот условный риск является функцией результата измерений х и значений оценок . Чтобы удовлетворить байесову критерию, оценкам нужно приписать значения, при которых риск будет минимален. Это определяет

систему функций описывающую байесову оценку. Если условный риск является непрерывной функцией оценок а, оценка может быть найдена решением уравнений

и использованием системы корней, для которой условный риск, даваемый (7.6), приобретает наименьшее значение.

Чтобы подтвердить данную выше характеристику байесовой оценки, заметим, что средний риск С, даваемый формулой (7.4), связан, согласно (7.6), с условным риском С соотношением

Так как положительна в области всех возможных значений результатов х, средний риск С минимизируется, если для каждого значения х условный риск С будет как можно более, малым. Можно показать, что это всегда возможно при выпуклой положительной функции потерь [4].

Для оценки одного параметра а часто в качестве удобной функции потерь принимается квадрат разности между истинным значением и оценкой а:

где не зависит от оценки а. Любая выпуклая функции потерь, непрерывная в точке а, может быть разложена в ряд Тейлора по а вблизи точки формула (7.7) представляет собой первый член такого разложения. Если множитель равен единице, применение квадратичной функции потерь и байесова критерия эквивалентно отысканию оценки с минимальной средней дисперсией. Оценка зависит от принятого априорного распределения В результате минимизации условного риска, согласно (7.6), найдем, что байесова оценка параметра а равна

При байесова оценка совпадает с условным математическим ожиданием значения параметра а:

Если априорное распределение значений параметра неизвестно, можно, как и при проверке сложных гипотез (разд. 1 гл. 5), искать наименее благоприятное распределение. Байесов риск зависит от принятого априорного распределения и наименее благоприятным распределением будет такое, при котором байесов риск максимален. Байесова оценка, найденная при наименее благоприятном распределении является минимаксной оценкой.

Минимаксная оценка характеризуется равенством рисков для различных значений параметра а:

Применяя минимаксную оценку, наблюдатель может быть уверен, что средний риск никогда не будет больше минимаксного значения каково бы ни было истинное априорное распределение параметров . Доказательство этих утверждений достигается теми же путями, что и доказательство аналогичных положений теории проверки сложных гипотез (подраздел разд. 1 гл. 5). Если применяется квадратичная функция потерь (7.7) с множителем то говорят, что получающаяся минимаксная оценка имеет равномерно-минимальную дисперсию. Дисперсия оценки параметра а при этом не зависит от истинного значения параметра.

Часто наименее благоприятного распределения в строгом смысле не существует. Это особенно правдоподобно, когда область возможных значений некоторого параметра (такого, как время прихода сигнала) имеет неограниченную протяженность и когда наименее благоприятная ситуация получается при полном отсутствии сведений о значениях параметра. Байесов риск при расширении растет, хотя его наименьшая верхняя граница никогда не достигается ни при каком подходящем законе распределения

В качестве простого примера, иллюстрирующего рассмотренные понятия, рассмотрим задачу оценки по результатам независимых наблюдений среднего значения гауссового распределения, дисперсия которого известна. Эти результаты распределены в соответствии с функцией плотности вероятности:

Предположим, что предыдущие опыты показали, что истинное среднее значение распределено по нормальному закону со средним значением и дисперсией

При наличии системы результатов х с помощью формул (7.5) можно вычислить апостериорное распределение истинного среднего значения

X — выборочное среднее, равное

Применим квадратичную функцию потерь Согласно (7.8), байесовой оценкой является условное математическое ожидание

Рассматривая этот результат, видим, что, если первоначальная неопределенность (3 в величине среднего значения очень велика, оптимальная (байесова) оценка близка к выборочному среднему: С другой стороны, если дисперсия ошибки измерений очень велика оценкой является и наблюдения дают мало новой информации относительно среднего значения Оценка (7.13) является смещенной оценкой. Ее среднее значение

когда истинноезначение равно Если число измерений увеличивается, и можно сказать, что оценка "асимптотически несмещенная".

Риск, связанный со средним значением согласно определению риска (7.3), равен

где функция распределения выборочного среднего X при истинном среднем Эта функция распределения гауссова со средним значением и дисперсией Оценка дается формулой (7.13). Байесов риск при этом равен среднему от риска, даваемого (7.15), при использовании в качестве априорного распределения :

При возрастании дисперсии априорного распределения байесов риск возрастает вплоть до его наименьшей верхней границы

Наименее благоприятной ситуацией является такая, когда имеется полная неосведомленность об истинном среднем значении, что соответствует предельному переходу Соответствующим пределом оценки (7.13) является Если наблюдатель пользуется такой оценкой, риск относящийся к какому-либо истинному значению согласно (7.15) равен наименьшей верхней границе Его величина не зависит от истинного среднего. Поэтому применение в качестве оценки выборочного среднего X соответствует минимаксной стратегии, а значение минимаксному риску. Средний риск равен При этом безразлично, каков истинный закон распределения и наблюдатель уверен, что его средние потери никогда не будут превышать этого значения. Оценка имеет равномерно-минимальную дисперсию.

Конечно, если наблюдатель имеет априорную информацию относительно параметра представленную в виде закона распределения подобного (7.11), средний риск (или дисперсия оценки) может быть уменьшен при использовании байесовой оценки, вычисленной в соответствии с развитым выше методом.

Байесова оценка даваемая (7.13), зависит от результатов измерений только через их сумму:

Выборочное среднее X поэтому содержит всю информацию, нужную для оценки среднего значения функции распределения результатов (7.10); оно называется "достаточной статистикой". Проблемы оценки значительно упрощаются, если достаточная статистика существует.

Вообще достаточная статистика по отношению к параметру а является такой функцией х, что апостериорное распределение параметра зависит от заданных значений только через при любом априорном распределении

При этом функция содержит всю информацию, заключенную в результатах х, которая необходима для того, чтобы указать байесову оценку, так как, согласно (7.6), условный риск зависит от составляющих х только через их функцию и получается минимизацией условной стоимости по отношению к а, являющейся байесовой оценкой. При отыскании байесовой оценки необходимо поэтому рассматривать только такие оценки, которые являются функциями статистики достаточной по отношению к параметру а, который должен быть оценен.

Функция является достаточной статистикой, если совместное распределение результатов может быть записано в виде

где множитель не зависит от параметра а. Условие (7.17) прямо следует из этой формулы. В -мерном пространстве

выборочных значений гиперповерхности образуют однопараметрическое семейство, причем на каждой поверхности семейства апостериорная плотность вероятности параметра а постоянна. Положение на этой поверхности точки, изображающей результаты х, с точки зрения оценки параметра а не имеет значения.

В предыдущем примере закон распределения может быть записан в виде формулы

совпадающей по форме с (7.18), если принять

Гиперповерхностями являются гиперплоскости. Чтобы оценить среднее значение наблюдателю нужно только знать, на какой из гиперплоскостей лежит точка, изображающая результаты х. Конечно, любая монотонная функция достаточной статистики также будет являться достаточной статистикой. В рассмотренном случае выборочное среднее X вполне хорошо удовлетворяет назначению.