§ 10.5. Сходимость апостериорных распределений

В остальной части этой главы мы изучим некоторые предельные свойства апостериорных распределений, когда число наблюдений в повторной выборке стремится к бесконечности. Мы покажем, что если повторная выборка из распределения с неизвестным значением некоторого параметра и если значение в действительности равно то при некоторых условиях апостериорное распределение будет при все больше концентрироваться вокруг значения

Рассмотрим простой пример, когда параметр принимает лишь конечное число значений Предположим, что при и пусть для каждого заданного значения случайные величины образуют повторную выборку из распределения с о. в. п. Предположим, что все о. в. п. различны в том смысле, что если S обозначает выборочное пространство, отвечающее одному наблюдению, то

Для наблюденных значений пусть обозначает апостериорную вероятность того, что Таким образом, эта апостериорная вероятность равняется

Предположим теперь, что образуют в действительности повторную выборку из распределения с о. в. п. , где одно из значений Покажем, что с вероятностью 1 справедливы следующие предельные соотношения:

и

Другими словами, при апостериорная вероятность сосредоточивается в истинном значении параметра

Основным результатом для задач с большими выборками является усиленный закон больших чисел, который может быть сформулирован следующим образом.

Усиленный закон больших чисел. Пусть последовательность независимых и равнораспределенных случайных величин, среднее каждой из которых равно Тогда с вероятностью 1

Доказательство этого результата имеется в книгах Феллера (1957), гл. 10, и (1966), гл. 7, Лоэва (1963), § 16, и Рао (1965), гл. 2. Он понадобится нам для доказательства соотношений (3) и (4).

Для любого фиксированного значения пусть определено равенством

Здесь X обозначает отдельное наблюдение и математическое ожидание вычисляется в предположении, что Среднее не обязательно конечно, но так как плотности и различны, то в силу неравенства Йенсена

Поэтому либо конечное отрицательное число, либо может быть приписано значение В любом случае из усиленного закона больших чисел следует, что с вероятностью 1

Следовательно,

Соотношение же (9) равносильно тому, что при с вероятностью 1

равенства (3) и (4) следуют теперь из (10) и из вида апостериорной вероятности

Предельные результаты такого типа для апостериорных распределений верны во многих задачах. Рассмотрим ситуацию теоремы 1 § 9.5, где повторная выборка из нормального распределения с неизвестным значением среднего и заданной мерой точности В § 9.5 было показано, что среднее апостериорного распределения является взвешенным средним выборочного среднего X и среднего значения априорного распределения и что мера точности апостериорного распределения возрастает на единиц при каждом наблюдении.

Предположим теперь, что на самом деле выборка из нормального распределения со средним Если то относительный вес X в формуле для стремится к 1. Согласно усиленному закону больших чисел, с вероятностью Поэтому с вероятностью 1. Далее, дисперсия апостериорного распределения стремится к 0. Отсюда видно, что апостериорное распределение сходится к вырожденному распределению, сосредоточенному в точке и апостериорная вероятность всякого открытого интервала, содержащего стремится к 1. Другие примеры приведены в упр. 19—21.

Дальнейшие замечания и ссылки на литературу. Сходимость апостериорных распределений к истинному значению параметра при можно доказать и для более общих параметрических пространств Однако относительно априорного распределения параметра и семейства о.в.п. приходится делать те или иные дополнительные предположения. Эта тематика имеет давнюю историю, ею занимался еще Лаплас. Из работ по этой тематике и смежным вопросам укажем книгу фон Мизеса (1964), гл. 7, статью Берка (1966) и работы более абстрактного характера: Блекуэлл и Дьюбинс (1962), Фридмэн (1963, 1965), Фейбиус (1964) и Л. Шварц (1965).