Глава 10. ПРЕДЕЛЬНЫЕ АПОСТЕРИОРНЫЕ РАСПРЕДЕЛЕНИЯ

§ 10.1. Несобственные априорные распределения

В ряде задач априорная информация статистика о некотором параметре является совсем незначительной и неопределенной по сравнению с тем, что он предполагает узнать о из доступных ему наблюдений. В таких задачах, даже если статистик и может найти подходящее сопряженное семейство распределений выбрать из него подходящее априорное распределение может оставаться делом отнюдь не легким. В силу неопределенности априорной информации по сравнению с информацией, которой он будет скоро располагать после наблюдений, статистику не стоит тратить много времени и сил на поиски наилучшего в данной ситуации априорного распределения. Вместо этого удобно использовать некоторое стандартное априорное распределение, которое было бы употребительным сразу во многих ситуациях, где априорная информация достаточно неопределенна.

Часто в качестве такого стандартного априорного распределения выбирается несобственное распределение, задаваемое неотрицательной плотностью, интеграл от которой по всему параметрическому пространству и бесконечен (в то время как для всякого собственного вероятностного распределения этот интеграл равен единице). Например, если это вещественная прямая и из-за незначительности информации априорная п. р. в. W весьма сильно «размазана» по всей прямой, то статистик может счесть удобным выбрать для своего априорного распределения плотность, постоянную на всей прямой. Такая равномерная плотность не является п. р. в. никакого собственного вероятностного распределения на вещественной прямой. Однако часто статистик может получить апостериорное распределение, являющееся уже собственным, выбирая в качестве априорной равномерную плотность и проводя формально все вычисления по теореме Байеса с некоторыми наблюдениями Таким образом, если функция правдоподобия для этих наблюдений и

то апостериорная п. р. в. параметра удовле творяет соотношению

В качестве иллюстрации соотношения (2) предположим, что повторная выборка из нормального распределения с неизвестным значением среднего и заданной мерой точности Если априорное распределение для определяется равномерной плотностью на вещественной прямой, то из соотношения (4) § 9.5 следует, что

Поэтому апостериорное распределение при является нормальным со средним х и мерой точности Хотя априорное распределение — несобственное, апостериорное будет обычным нормальным распределением, если сделано хотя бы одно наблюдение.

Другой возможный способ действий в условиях априорной неопределенности заключается в том, что используют собственные априорные распределения из некоторого подходящего сопряженного семейства, заиндексированного параметром а, вычисляют апостериорные распределения по наблюденным значениям и затем находят предельное апостериорное распределение при стремлении параметра а к некоторому предельному значению. Часто это предельное апостериорное распределение параметра оказывается собственным вероятностным распределением, даже если оно не отвечает никакому собственному априорному распределению.

В качестве примера применения предельных апостериорных распределений рассмотрим опять-таки задачу выбора из нормальной совокупности с неизвестным значением среднего и заданной мерой точности Сопряженное семейство распределений для этой задачи было описано в теореме 1 § 9.5. Если в апостериорном нормальном распределении указанном в этой теореме, то предельным распределением будет нормальное со средним х и мерой точности Это распределение может служить в качестве апостериорного для но его нельзя получить ни из какого собственного априорного распределения. В этом примере предельное апостериорное распределение совпадает с апостериорным распределением (3), которое мы получили исходя из несобственной равномерной априорной плотности для Это совпадение результатов можно было ожидать: если в априорном нормальном распределении мера точности то дисперсия становится все больше и больше и распределение все более «размазывается» по всей прямой.

Апостериорное распределение (3) обладает некоторыми интересными свойствами. Пусть случайная величина определена соотношением

Тогда для рассматриваемого апостериорного распределения условное распределение при каждом фиксированном значении х величины X является стандартным нормальным (т. е. нормальным распределением со средним 0 и мерой точности 1). Поскольку условное распределение одинаково для всех значений X, случайные величины независимы. Далее, обычная теория выбора из нормального распределения, изложенная в § 4.7, показывает, что условное распределение при заданном значении параметра также является стандартным нормальным. Поэтому независимы и величины

Строго говоря, два предыдущих заключения несовместимы. Для любого собственного двумерного распределения при котором случайные величины независимы, случайные величины зависимы, если только случайная величина не равна с вероятностью 1 постоянной (см. упр. 1). Случайная величина не равна здесь постоянной потому, что мы использовали несобственное априорное распределение. Эти замечания показывают, что статистик должен быть чрезвычайно осторожен при обращении с несобственными распределениями.

Доверительные интервалы. Мы уже отмечали, что условное распределение при любом заданном значении X совпадает с условным распределением при всяком фиксированном значении Вследствие этого выводы о основанные на апостериорном распределении, вообще говоря, согласуются с выводами основанными на обычном методе доверительных интервалов. Этот метод можно описать следующим образом.

Пусть случайные величины, такие, что для всякого значения выполнено соотношение

где — фиксированное число Тогда при наблюдениях можно рассмотреть следующий интервал для

Этот интервал называется доверительным интервалом для а число у называется доверительным коэффициентом этого интервала.

Для любого обозначим через такое число, что

где стандартного нормального закона. Из полученного ранее вида условного распределения следует, что доверительный интервал для с доверительным коэффициентом у

может быть определен соотношением

Но при указанном апостериорном распределении вероятность того, что лежит в интервале (8), равна у. Поэтому, согласно обычной теории, доверительный коэффициент этого интервала равен 7, а согласно байесовской или субъективистской теории, вероятность попадания в этот интервал равна 7. Поскольку оперативная интерпретация этих двух свойств по существу одна и та же, то, как уже отмечалось, выводы основывающиеся на указанных двух, точках зрения, вообще говоря, совпадают.

Дальнейшие замечания и ссылки на литературу. Несобственные априорные распределения играют важную роль в статистических методах, развитых Джеффрисом (1961) и Линдли (1965). В последующих двух параграфах этой главы мы будем рассматривать апостериорные распределения, либо получающиеся из несобственных априорных распределений, либо являющиеся предельными в задачах выбора из одномерного или многомерного нормального распределения. Задачи с выборками из других совокупностей будут рассмотрены в упражнениях в конце главы.

Мы покажем, что во многих задачах, в которых апостериорное распределение параметра получается указанным образом, доверительные интервалы — или, в случае больших размерностей, доверительные множества — с заданным доверительным коэффициентом 7 являются интервалами или множествами, имеющими апостериорную вероятность 7.

Трудности представления неполной априорной информации о векторе высоких размерностей и другие аспекты использования несобственных распределений обсуждаются в работах Стейна (1962а, 1965).