8.6.6. Байесовский подход к статистическому оцениванию.
Основная идея байесовского подхода состоит в использовании при оценке параметра
может быть векторной величиной) наряду с информацией, получаемой из выборки X, дополнительной априорной информации об оцениваемом параметре. Предполагается, что оцениваемый параметр
является случайной величиной и имеет некоторую известную исследователю априорную плотность распределения
С помощью формулы Байеса (см. п. 4.1.3, 4.2.2) можно получить апостериорную плотность распределения
параметра
после наблюдения выборки X:
где
— плотность условного распределения выборки X при данном
, т. е. введенная в § 8.2 функция правдоподобия;
— нормирующая константа, не зависящая от
.
Используя плотность
можно построить, например, байесовский доверительный интервал для параметра
Точечной байесовской оценкой для
служит среднее значение, вычисленное по апостериорному распределению:
Отметим одно важное свойство оценки
Пусть
— некоторая оценка, зависящая от выборки X. Апостериорным байесовским риском называется величина
Применение байесовского оценивания ограничено тем, что задача обоснованного выбора априорного распределения весьма трудна и, по-видимому, не имеет еще общего удовлетворительного решения (см. [44]).
В ряде случаев, однако, может иметься информация о виде априорной плотности с точностью до небольшого числа неизвестных параметров, которые можно оценить по выборке одновременно с оцениванием параметра
Такой метод получил название эмпирического байесовского подхода.
Рассмотрим теперь важный класс оценок, позволяющий избежать каких-либо предположений об априорном распределении, так называемые минимаксные оценки. Пусть
есть некоторая оценка 0. Если априорное распределение для 0 известно (например, задана плотность
), то полное среднее значение квадрата ошибки М определяется выражением (8.45). Из (8.45) следует, что минимальное значение
достигается при
так что при известном априорном распределении задача оценивания решается до конца.
Пусть теперь
неизвестна. Тогда для измерения качества оценок можно воспользоваться величиной
т. е. наибольшей возможной погрешностью.
В соответствии с мерой
оценка
лучше оценки t, если
Принцип минимакса предписывает выбор оценки
для которой
минимален. Если такая оценка существует, то
и оценка
называется минимаксной оценкой.
Хотя минимаксная оценка может оказаться хуже, чем другие оценки в большой области параметрического пространства, достоинством ее является то, что верхняя величина погрешности для нее заведомо не хуже, чем у любой другой оценки.
Пример 8.11. Для оценки неизвестной вероятности
в схеме испытаний Бернулли в условиях примера 8.2
минимаксной оценкой неизвестной вероятности будет
Подробное обсуждение вопросов, связанных с байесовским подходом к оцениванию, содержится в работах [36], [44].