15.3.5. ПРИБЛИЖЕННЫЙ АНАЛИЗ ПРИ БОЛЬШОЙ АПРИОРНОЙ

НЕОПРЕДЕЛЕННОСТИ

В разделе 15.3.3 мы видели, что ситуации с большой степенью априорной неопределенности (по сравнению с объемом информации, содержащейся в данных) в математическом смысле соответствуют функции априорной плотности с относительно пологой формой в области, где (стандартизованное) правдоподобие, соответствующее данным х, имеет остроконечную форму. Это может быть при эксперименте небольшого масштаба из-за большой разбросанности

Рис. 15.3.13. Априорная плотность, по сравнению с которой правдоподобие играет доминирующую роль

априорных суждений или при очень крупном эксперименте с умеренно точными априорными представлениями. Подобная ситуация представлена на рис. 15.3.13 для случая одного параметра в.

Напомним, что теорема Байеса в краткой форме может быть представлена как

Таким образом, если априорная плотность будет приближенно постоянной как функция в в диапазоне, где правдоподобие имеет сконцентрированный характер, то при относительно высокой степени априорной неопределенности теорема Байеса приводит к приближенному результату

так как и в числителе, и в знаменателе появляется — приближенно постоянная величина, которую можно сократить.

Можно видеть, что когда априорные суждения относительно слабые, неопределенные, апостериорные суждения диктуются расположением и формой кривой правдоподобия. В частности, значением в параметра которое считается «наиболее вероятным», когда известны данные х, оказывается значение, максимизирующее правдоподобие , а именно оценка максимального правдоподобия [см. гл. 6], часто используемая статистиками, придерживающимися небайесовского подхода.

На основании полученных приближенных аргументов можно сказать, что при высокой степени априорной неопределенности функция, изображающая апостериорные суждения, будет иметь пик в области оценки максимального правдоподобия параметра Действительно, если мы сделаем несколько больше приближенных допущений, то узнаем не только расположение, но и форму функции правдоподобия, а следовательно, и приближенной апостериорной плотности.

Чтобы лучше увидеть это, давайте вспомним, что на основании приведенных выше доводов имеем приближенно

где

Теперь предположим, что можно хорошо аппроксимировать путем разложения в ряд Тейлора [см. IV, раздел 3.6] в окрестности с точностью до квадратического члена разложения. Другими словами, предполагается, что логарифмическую функцию правдоподобия можно хорошо аппроксимировать с помощью квадратической функции вблизи значения оценки максимального правдоподобия 0. Приняв предположение о виде аппроксимации, получим

где обозначают первую и вторую производные по 0, вычисленные в точке Если далее предположить, что имеет единственный максимум в точке , то будет достигать максимума в той же точке, так как при переходе к логарифму функции положение поворотной точки не изменяется. Отсюда, в частности, следует, что (производная в точке максимума равняется нулю).

Отметив, что рассматриваемая как функция , будет постоянной, получаем аппроксимацию

Основания для того, чтобы переписать квадратический член в таком виде, становятся ясными, если заметить, что

где [ср. с разделом 6.2.5.]

Когда имеет такой вид и при условии, что сделанные ранее предположения вполне разумны, апостериорные представления о хорошо приближаются с помощью нормальной функции плотности со средним в и дисперсией Поэтому расположение кривой, отображающей апостериорные представления, определяется значением (оценкой максимального правдоподобия), а разброс апостериорных представлений о параметре в обратно пропорционален второй производной логарифмической функции правдоподобия (в точке , взятой со знаком минус. Последняя величина действительно вполне может служить интуитивной мерой размаха: вторая производная показывает, насколько быстро изменяется градиент логарифмической функции правдоподобия (от положительных значений к отрицательным, из-за чего и появляется знак минус в выражении для разброса). Если градиент изменяется быстро, то это указывает, что функция правдоподобия имеет резко выраженный заостренный максимум и, следовательно, ее разброс будет малым.

Пример 15.3.4. Предположим, что данные х представляют собой число успешных результатов при независимых испытаниях, в каждом из которых шанс на успех равняется , так что х является реализацией биномиальной случайной переменной

Если довольно велико, а — относительно пологая функция, то можно ожидать, что обсуждавшаяся перед этим аппроксимация окажется разумной, и поэтому ею можно воспользоваться для вычисления в и

Отметив, что

легко получить

и решение уравнения

приводит к оценке максимального правдоподобия

Дифференцируя второй раз, получаем

и, следовательно,

На основании выведенного выше общего результата можно сделать заключение, что апостериорные представления относительно в должны хорошо приближаться с помощью

Если вспомнить, что при нормальном распределении вероятность попадания в интервал, границы которого определяются как «среднее стандартных отклонений», равняется 95%, то становится очевидным, что при такой аппроксимации статистик «байесовского толка» придет к заключению, что параметр в будет лежать в интервале

с апостериорной вероятностью 0,95 (т. е. с соотношением апостериорных шансов [см. пример 4.7.1].

Представляет интерес сравнение этого утверждения с выводом подобного рода, который можно было бы сделать, не прибегая к теореме Байеса. «Естественной» оценкой в является среднее которой равняется , а дисперсия — Если большое, то значение оценки будет приближаться к в и распределение будет приблизительно нормальным [см. пример 4.7.1]. Таким образом, возникает возможность рассматривать

в качестве величины, определяющей приближенный 95%-ный доверительный интервал для . Пользуясь значениями статистик «небайесовского толка» мог бы в этой ситуации прийти в конце концов к числовому результату, аналогичному тому, который получил статистик «байесовского толка» (несмотря на то, что логика анализа совершенно различная; см. также раздел 15.4).

Пример 15.3.5. Предположим, что полное число событий, наблюдавшихся при независимых процессах, в каждом из которых события подчиняются распределению Пуассона с параметром Поэтому х может рассматриваться как реализация случайной переменной X, имеющей распределение Пуассона с параметром следовательно,

Если последовательно осуществить этапы преобразований, необходимые для приближения в этом случае (большое относительно пологая то получим

и тогда

Решение уравнения

приводит к оценке максимального правдоподобия

Повторное дифференцирование дает

следовательно,

В этом случае апостериорные представления о разумно будет приблизить с помощью выражения

подразумевая, что приближенные апостериорные шансы появления значений , лежащих в интервале

оцениваются как 19 к 1.

В такой ситуации рассуждения небайесовского типа приводят к такой же аппроксимации, если заметить, что оценка при больших распределена приближенно нормально со средним 0 и дисперсией [см. пример 4.7.2].

Рис. 15.3.14. (см. скан) Изокванты совместной апостериорной плотности для

В разделе 15.4.2 будут более подробно рассмотрены интервалы, полученные на основе апостериорных плотностей, и проведено их систематическое сравнение с небайесовскими доверительными интервалами.

При умеренных значениях часто можно улучшить качество приближения, занимаясь скорее функцией 0, чем самим параметром Более подробное изложение этих проблем можно найти в работе [Lindley (1965), раздел 7.2]. Перенесение доводов, приводившихся выше, на ситуацию, когда имеется более одного параметра, приводит к нормальному распределению большей размерности (многомерному). В качестве иллюстрации рассмотрим два параметра и связанные с ними правдоподобие и логарифмическое правдоподобие . Если приближенно постоянная, то апостериорная плотность задается как

Если разложить в двумерный ряд Тейлора с точностью до квадратичных членов [см. IV, раздел 5.8] в окрестности оценок совместного максимального правдоподобия , то получим

где обозначают частные производные по соответственно, обозначают частные производные второго порядка. Так как можно записать

где

Таким образом, приближенная форма принимает вид двумерного нормального распределения со средним оценками максимального правдоподобия и матрицей ковариаций .

Данный метод приближения очевидным образом переносится на случай, когда более двух параметров.