19.2. СТАТИСТИКА И ТЕОРИЯ ПРИНЯТИЯ РЕШЕНИЙ

19.2.1. ОЦЕНИВАНИЕ

Как мы указывали в разделе 19.1.1, задачу оценивания неизвестного параметра можно рассматривать как частный случай общей задачи статистического решения, когда (т. е. требуемое действие состоит в выборе элемента параметрического пространства). Более того, если ограничиться байесовскими решающими функциями, то теорема 19.1.6 из предыдущего раздела показывает, что для каждого такая функция 8 задается выбором действия минимизирующего апостериорный ожидаемый риск

Следующие теоремы описывают общие формы байесовских оценок при различных стандартных функциях потерь

Теорема 19.2.1. Если используется так называемая квадратичная функция потерь то байесовская оценка задается средним значением апостериорного распределения.

Доказательство. Мы хотим выбрать так, чтобы минимизировать

Дифференцируя по а и приравнивая производную нулю, получим

поскольку

Теорема 19.2.2. При использовании так называемой абсолютной функции потерь байесовская оценка задается медианой апостериорного распределения.

Доказательство. (Для случая ). Нам нужно выбрать а так, чтобы минимизировать апостериорные ожидаемые потери

Продифференцируем по а, учитывая, что

Приравняв производную нулю, получим

(так как сумма этих интегралов равна 1). По определению [см. II, раздел 10.3.3] это означает, что а — медиана апостериорного распределения.

Теорема 19.2.3. Если при (так называемые «потери ноль-один»), то байесовское решение совпадает с модой апостериорного распределения.

Доказательство (только для дискретного пространства 0). Мы используем функцию потерь вида

и хотим минимизировать риск

Если положть , то апостериорные ожидаемые потери окажутся равными:

Очевидно, что последнее выражение принимает наименьшее значение, когда выбрано так, чтобы максимизировать Но такое значение в и называется модой (т. е. наиболее вероятным значением) апостериорного распределения.

Несколько частных примеров байесовских оценок с использованием квадратичной функции потерь были приведены в гл. 15.

Вообще говоря, изучение минимаксных оценок не так просто; для операции типа нет очевидных аналогов процедур интегрирования (суммирования) и дифференцирования, которыми мы пользовались при поиске байесовских решений. Тем не менее теорема 19.1.5 часто оказывается полезной основой для отыскания минимаксных решений.

Пример 19.2.1. Предположим, что — наблюдаемое число успехов в независимых испытаниях, в каждом из которых вероятность успеха равна в. Найдем минимаксную оценку вероятности при квадратичной функции потерь.

Заметим прежде всего, что по теореме 19.1.5 стоит сначала найти допустимую процедуру оценивания с постоянным риском. Напомним

еще, что по теореме 19.1.1 единственная байесовская решающая функция всегда допустима. Поэтому мы попытаемся найти вид байесовской оценки в случае, когда она единственная, а затем посмотреть, при каких условиях эта оценка приводит к постоянному риску. Если нам это удастся, мы найдем минимаксную процедуру оценивания.

Чтобы справиться с первой задачей, вспомним, что если априорное распределение параметра имеет вид бета-распределения с параметрами так что

то и апостериорное распределение имеет тот же вид, но вместо а нужно взять , а вместо . А так как среднее значение распределения равно и это — единственная байесовская оценка при квадратичной функции потерь, то единственной байесовской решающей функцией, соответствующей априорным параметрам будет

Выпишем теперь функцию риска и выясним, при каком выборе она оказывается постоянной (по ). По определению

поскольку член пропадает. Далее, так как то после простых преобразований получим

При риск оказывается не зависящим от , так как коэффициенты при и равны нулю. Поэтому минимаксной оценкой вероятности будет