8.6.6. Байесовский подход к статистическому оцениванию.

Основная идея байесовского подхода состоит в использовании при оценке параметра может быть векторной величиной) наряду с информацией, получаемой из выборки X, дополнительной априорной информации об оцениваемом параметре. Предполагается, что оцениваемый параметр является случайной величиной и имеет некоторую известную исследователю априорную плотность распределения

С помощью формулы Байеса (см. п. 4.1.3, 4.2.2) можно получить апостериорную плотность распределения параметра после наблюдения выборки X:

где — плотность условного распределения выборки X при данном , т. е. введенная в § 8.2 функция правдоподобия; — нормирующая константа, не зависящая от .

Используя плотность можно построить, например, байесовский доверительный интервал для параметра

Точечной байесовской оценкой для служит среднее значение, вычисленное по апостериорному распределению:

Отметим одно важное свойство оценки Пусть — некоторая оценка, зависящая от выборки X. Апостериорным байесовским риском называется величина

Оценка , как математическое ожидание условного распределения 0 при заданном X минимизирует и значение есть просто дисперсия апостериорного распределения. Из свойств условного математического ожидания (см. п. 5.6.7) следует, что , минимизирует и полный средний квадрат ошибки, т. е.

где

а ошибка определена в (8.44).

Другая байесовская оценка получается, если выбирать значение 0, дающее максимум условной апостериорной плотности

т. е. это «подправленная» наличием априорной плотности оценка максимального правдоподобия. При достаточно слабых ограничениях на обе оценки сходятся при к оценке максимального правдоподобия независимо от выбора априорной плотности Пример 8.9. Рассмотрим задачу оценивания неизвестной вероятности в схеме испытаний Бернулли на основании независимых испытаний. В качестве априорного распределения для возьмем -распределение (см. п. 6.2.6) с плотностью

Пусть в результате испытаний получилось успехов. Тогда апостериорная плотность

т. е. это тоже плотность -распределения, но с другими параметрами. Взяв математическое ожидание с получим

байесовскую оценку

что отличается от обычной оценки .

Пример 8.10. Рассмотрим случай дискретного скалярного параметра Переход от непрерывного случая, описанного выше, очевиден и не вызывает затруднений. Пусть для определенности параметр может принимать только два значения: Априорное распределение задается априорными вероятностями для значений Пусть теперь сделано одно наблюдение X (т. е. получена выборка из одного наблюдения). Тогда апостериорное распределение параметра будет таким:

Для получения байесовской оценки воспользуемся (8.46), что дает

По существу, мы получили байесовское решающее правило для отнесения наблюдения X к одной из двух совокупностей с априорными распределениями называемое решающим правилом по максимуму апостериорной вероятности. Правило (8.47) эквивалентно решающему правилу

Величина носит название отношения правдоподобия (см. § 9.3).

Оценка (правило классификации по максимуму апостериорной вероятности) оптимальна в том смысле, что минимизирует среднюю вероятность ошибочной классификации

где — вероятность ошибочно оценить параметр когда на самом деле (смысл поясняется аналогично).

Применение байесовского оценивания ограничено тем, что задача обоснованного выбора априорного распределения весьма трудна и, по-видимому, не имеет еще общего удовлетворительного решения (см. [44]).

В ряде случаев, однако, может иметься информация о виде априорной плотности с точностью до небольшого числа неизвестных параметров, которые можно оценить по выборке одновременно с оцениванием параметра Такой метод получил название эмпирического байесовского подхода.

Рассмотрим теперь важный класс оценок, позволяющий избежать каких-либо предположений об априорном распределении, так называемые минимаксные оценки. Пусть есть некоторая оценка 0. Если априорное распределение для 0 известно (например, задана плотность ), то полное среднее значение квадрата ошибки М определяется выражением (8.45). Из (8.45) следует, что минимальное значение достигается при так что при известном априорном распределении задача оценивания решается до конца.

Пусть теперь неизвестна. Тогда для измерения качества оценок можно воспользоваться величиной т. е. наибольшей возможной погрешностью.

В соответствии с мерой оценка лучше оценки t, если

Принцип минимакса предписывает выбор оценки для которой минимален. Если такая оценка существует, то

и оценка называется минимаксной оценкой.

Хотя минимаксная оценка может оказаться хуже, чем другие оценки в большой области параметрического пространства, достоинством ее является то, что верхняя величина погрешности для нее заведомо не хуже, чем у любой другой оценки.

Пример 8.11. Для оценки неизвестной вероятности в схеме испытаний Бернулли в условиях примера 8.2

минимаксной оценкой неизвестной вероятности будет

Подробное обсуждение вопросов, связанных с байесовским подходом к оцениванию, содержится в работах [36], [44].