2.11. НЕКОТОРЫЕ СВОЙСТВА БАЙЕСОВСКИХ АПОСТЕРИОРНЫХ ФПВ ПРИ БОЛЬШИХ ВЫБОРКАХ

В этом параграфе мы кратко обсудим некоторые свойства апостериорных ФПВ при больших выборках. Сначала рассмотрим апостериорную ФПВ для скалярного параметра :

где есть наша априорная ФПВ, а функция правдоподобия, базирующаяся на независимых выборочных наблюдениях Предположим, что как , так и являются ненулевыми в пространстве параметров и имеют непрерывные производные; кроме того, имеет единственный максимум при оценке наибольшего правдоподобия.

Вообще говоря, как поясняет Джеффрис, будет порядка , в то время как не зависит от , объема выборки. Таким образом, уже эвристически можно сказать, что сомножитель правдоподобия при больших выборках будет доминировать в апостериорной ФПВ (2.34). Поскольку при весьма общих условиях с возрастанием вид графика функции правдоподобия приближается к кривой плотности нормального распределения, центрированной вокруг оценки наибольшего правдоподобия 0, то и апостериорная ФПВ для случая больших выборок будет нормальной с математическим ожиданием, равным оценке наибольшего правдоподобия 0.

Для того чтобы представить эти соображения в более явном виде, мы разложим в ряд оба сомножителя в (2.34) в окрестности оценки

наибольшего правдоподобия , а именно

и, обозначив имеем

где использован тот факт, что (ввиду того что есть оценка наибольшего правдоподобия), а также разложение Перемножая (2.35) и (2.36), получаем

Доминирующий сомножитель в (2.37) имеет вид функции плотности нормального распределения с математическим ожиданием, равным оценке наибольшего правдоподобия , и дисперсией, равной

Таким образом, если мы используем только доминирующий сомножитель в (2.37), аппроксимаций апостериорной ФПВ для при больших выборках будет иметь вид

Поскольку обычно имеет порядок , то с ростом апостериорная ФПВ приобретает все более островершинный характер, оставаясь центрированной вокруг , т. е. дисперсия ее убывает с возрастанием .

В отношении точности аппроксимации (2.38) Джеффрис замечает, что имеет порядок вследствие чего члены

имеют порядок в то время как имеет порядок . В результате аппроксимация дает ошибку порядка

Пример 2.10. Допустим, что мы располагаем независимыми наблюдениями, полученными путем выборки из нормально распределенной генеральной совокупности с неизвестным математическим ожиданием и известным средним квадратичным отклонением Известно, что выборочная средняя есть оценка наибольшего правдоподобия для Используя (2.38) в применении к любой априорной ФПВ, удовлетворяющей множеству рассмотренных выше допущений, можно получить следующую аппроксимацию апостериорной ФПВ для больших выборок:

где

и

Таким образом, при большой выборке аппроксимацией апостериорной ФПВ для является нормальная ФПВ с математическим ожиданием и дисперсией

Аргументацию, приведенную выше, легко обобщить на случай, когда мы имеем дело не со скаляром, а с вектором параметров, т. е. при большой выборке апостериорная ФПВ для 0 будет аппроксимироваться нормальной ФПВ с математическим ожиданием , оценкой наибольшего правдоподобия и ковариационной матрицей

И в этом случае, так же как и ранее, мы можем разложить в ряд оба множителя апостериорной ФПВ для где Тогда, оставив только главные члены разложения и обозначив через приближенную пропорциональность, мы получим

т. е. выражение, соответствующее функции плотности многомерного нормального распределения с математическим ожиданием 0, оценкой наибольшего правдоподобия и ковариационной матрицей С, которая представляется выражением (2.39).

Весьма интересно отметить тесное соответствие байесовских результатов результатам, вытекающим из метода наибольшего правдоподобия. Спорным, конечно, является вопрос о том, насколько велик должен быть объем выборки для того, чтобы результаты аппроксимации больших выборок оказались достаточно точными. К счастью, обычно нет необходимости опираться на результаты аппроксимации больших выборок, поскольку исследователь может получить апостериорные ФПВ конечных выборок, если только ему даны элементы, составляющие теорему Байеса. В некоторых случаях, однако, когда возникают вычислительные трудности при анализе сложных апостериорных ФПВ, изложенные выше результаты для больших выборок могут оказаться полезными.