14.4. ОЦЕНИВАНИЕ СЛУЧАЙНОГО ПАРАМЕТРА

14.4.1. Оптимальная оценка по критерию максимума апостериорной плотности.

Предположим теперь, что однородная независимая выборка принадлежит распределению с плотностью причем — случайный параметр с известной плотностью вероятности до . При таких априорных данных оптимальный алгоритм оценивания параметра синтезируется по критерию максимума апостериорной плотности вероятности оцениваемого параметра [см. (12.26)]. По формуле Байеса находим [см. (2.61)]

(14.70)

где

(14.70 а)

Так как логарифм — монотонная функция, то точки экстремумов функции по совпадают с точками экстремумов по функции

(14.71)

Если функция дифференцируема по , то ее максимум определяет оптимальную оценку максимальной апостериорной плотности согласно уравнению

(14.72)

при условии

Для независимой выборки из (14.72) следует

(14.73)

Оценка максимальной апостериорной плотности вероятности состоятельная и асимптотическая эффективная. Распределение ее при асимптотически нормальное с параметрами , где — информация по Фишеру [см. (14.39 а)].

Если априорное распределение случайного параметра равномерное на заданном интервале, то [см. (14.71)]

и, следовательно, при этом оценка максимальной апостериорной плотности совпадает с оценкой максимального правдоподобия.

14.4.2. Байесовские оценки.

Предположим, что наряду с априорными данными, указанными в п. 14.4.1, задана также функция потерь (см. п. 12.2.5). Тогда имеется полный комплект априорных данных, необходимый для синтеза байесовского алгоритма оценивания случайного скалярного параметра . Как показано в п. 12.4.2, байесовской оценкой, минимизирующей средний риск, является оценка минимального апостериорного риска [см. (12.20)]

(14.74)

Минимизация функционала (14.74) представляет задачу вариационного исчисления, Функционал в правой части (14.74) зависит от вида функции и необходимое условие минимума можно записать в виде

(14.75)

Выбор функции потерь в известной мере субъективен и зависит от конкретной задачи оценивания параметра. Наиболее часто используются функции потерь, которые представляют четные функции ошибки оценивания, монотонно возрастающие (неубывающие) при увеличении модуля ошибки.

Далее рассматриваются байесовские ошибки при функциях потерь указанного вида.

14.4.3. Простая функция потерь.

Рассмотрим функцию потерь, которая равна постоянной с для всех значений ошибок и дает бесконечный «выигрыш» при точном оценивании

(14.76)

Функция потерь (14.76) называется простой.

Подставляя (14.76) в (14.74), получаем

Из (14.77) следует, что байесовская оценка при простой функции потерь совпадает с оценкой максимальной апостериорной плотности вероятности оцениваемого параметра.

14.4.4. Квадратичная функция потерь.

При квадратичной функции потерь

(14.78)

апостериорный риск

(14.79)

Подставляя (14.79) в (14.75) и разрешая уравнение относительно функции , получаем

(14.80)

или

(14.80 а)

Функцию правдоподобия в (14.80 а) можно заменить статистикой отношения правдоподобия

(14.806)

где — некоторое фиксированное значение параметра [ср. также с (14.64 а)].

Из (14.80) следует, что байесовская оценка при квадратичной функции потерь представляет условное среднее значение оцениваемого параметра при заданной выборке . Нетрудно убедиться, что (14.80) соответствует минимуму апостериорного риска, так как

Условное среднее (14.80) является несмещенной оценкой параметра

(14.81)

и, следовательно, [см. (14.79)]

(14.82)

В отличие от простой функции потерь, для которой байесовская оценка определяется локальными свойствами апостериорной плотности вероятности оцениваемого параметра в окрестности ее максимума, байесовская оценка при квадратичной функции потерь зависит от изменения указанной апостериорной плотности во всем диапазоне измерения параметра . Заметим, однако, что для унимодальной и симметричной относительно моды апостериорной плотности распределения условное среднее совпадает с модой и, следовательно, байесовская оценка при квадратичной функции потерь совпадает с оценкой по критерию максимума апостериорной плотности, т. е. с байесовской оценкой при простой функции потерь.

14.4.5. Функция потерь, равная модулю ошибки.

Для функции потерь

(14.83)

апостериорный риск

откуда согласно условию (14.75)

или

(14.84)

Из (14.84) следует, что байесовская оценка при функции потерь, равной модулю ошибки, совпадает с условной медианой оцениваемого параметра при заданной выборке

Если апостериорная плотность вероятности оцениваемого параметра унимодальна и симметрична относительно моды, то медиана и среднее значение этого распределения совпадают и равны его моде. В этом случае байесовские оценки при функции потерь, равной модулю ошибки, и при квадратичной функции потерь одинаковы и совпадают с оценкой максимальной апостериорной плотности вероятности.

14.4.6. Прямоугольная функция потерь.

Для функции потерь

апостериорный риск

(14.85)

откуда из (14.75) получаем следующее трансцендентное уравнение для определения байесовской оценки при прямоугольной функции потерь:

(14.86)

Если апостериорная плотность вероятности оцениваемого параметра унимодальна и симметрична относительно моды, то единственным решением уравнения (14.86) является такая оценка , которая совпадает с модой указанной апостериорной плотности вероятности. В этом случае байесовская оценка при прямоугольной функции потерь совпадает с оценкой, соответствующей максимальной апостериорной плотности вероятности, т. е. с байесовской оценкой при простой и квадратичной функциях потерь.

14.4.7. Симметричная функция потерь.

Рассмотрим произвольную функцию потерь, четную относительно ошибки и неубывающую при увеличении модуля ошибки

(14.87)

Все указанные в п.п. 14.4.3-14.4.6 функции потерь являются функциями такого вида. Предположим, что апостериорная плотность вероятности параметра при заданной выборке унимодальна и симметрична относительно моды. Из этого предположения следует, что условное среднее является модой апостериорной плотности, т. е. - четная функция аргумента

Запишем уравнение (14.75)

(14.88)

Так как — четная функция, ее производная -нечетная функция аргумента

Поэтому величина тождественно обращается в нуль, если , т. е. если оценка

(14.89)

потому что при выполнении равенства (14.89) подынтегральная функция становится нечетной функцией относительно новой переменной интегрирования Таким образом, оценка (14.89) является решением уравнения (14.88) и, следовательно, байесовской оценкой.

Сравнивая (14.89) с (14.80), приходим к выводу, что байесовская оценка при квадратичной функции потерь является также байесовской оценкой при симметричной функции потерь для целого класса апостериорных плотностей оцениваемого параметра, удовлетворяющих условиям унимодальности и симметричности относительно моды.

14.4.8. Байесовские оценки векторного параметра.

Предположим, что однородная независимая выборка принадлежит распределению с плотностью причем случайный векторный параметр с известной плотностью вероятности . Задана также функция потерь . Оптимальной байесовский оценкой параметра является оценка, минимизирующая апостериорный риск (см. п. 12.4.2):

(14.90)

Апостериорный риск представляет многомерный функционал, зависящий от функций (статистик) Система уравнений

(14.90 а)

определяет необходимое условие экстремума этого функционала. Для простой функции потерь

(14.91)

апостериорный риск

(14.92)

При этом из (14.92) следует, что байесовская оценка векторного параметра является оценкой максимальной апостериорной плотности , компоненты коюрой определяются системой уравнений [ср. с (14.73)]

(14.93)

Для квадратичной функции потерь

(14.94)

байесовские оценки компонент векторного параметра равны апостериорному среднему

(14.95)