§ 10.9. Предельные свойства функции правдоподобия

Пусть выполняются предположения . В этом параграфе мы покажем, что при большом числе наблюдений функция правдоподобия и апостериорное распределение могут быть аппроксимированы некоторым нормальным распределением. Для доказательства этого факта мы формализуем следующие эвристические соображения.

Пусть для достаточно больших значений

суть решения уравнения правдоподобия, которые, согласно теореме 1 § 10.7, образуют состоятельную последовательность. Для упрощения обозначений пусть для любых значений наблюдений

Разлагая функцию в ряд Тейлора в точке получаем

Из определения следует, что Далее, из соотношения (7) § 10.7 и усиленного закона больших чисел заключаем, что при больших значениях верна следующая приближенная формула

Первый член в правой части равенства (2) не зависит от Поэтому, пренебрегая слагаемыми более высокого порядка малости в (2), мы можем записать следующее выражение для функции правдоподобия при принадлежащих некоторой малой окрестности

Соотношение (4) можно интерпретировать как приближение к функции правдоподобия посредством п. р. в. нормального закона со средним и мерой точности Из этого соотношения видно, что если априорное распределение параметра задается в некоторой окрестности точки гладкой положительной плотностью, то апостериорное распределение сконцентрировано

в окрестности точки и в этой окрестности может быть приближено нормальным распределением со средним и мерой точности . В оставшейся части этого параграфа мы дадим строгое обоснование этих рассуждений.

Пусть обозначает окрестность точки в которой выполнены предположения Так как с вероятностью то лежит в окрестности для достаточно больших значений Для произвольных значений наблюдений и для пусть

С помощью элементарного дифференцирования легко проверяется, что

Кроме того, Поэтому, разлагая функцию в ряд Тейлора в точке и учитывая члены до второго порядка малости, получаем

где лежит между

Пусть теперь — произвольное фиксированное число и определено равенством

Если положить

то из (7) — (9) вытекает, что

Покажем теперь, что с вероятностью 1. По предположению функция супернепрерывна в точке Поэтому из теоремы 1 § 10.8 следует, что с вероятностью 1

Далее, в силу предположения

Поскольку лежит между из (8) видно, что с вероятностью 1 для любого фиксированного значения 0. Мы можем снова применить теорему 1 § 10.8 и получить результат, аналогичный соотношению в котором заменено на Так как то

Кроме того, по предположению функции супернепрерывны в точке Следовательно, с вероятностью 1 верны следующие два соотношения:

Искомое соотношение следует теперь из формулы (9), определяющей и из соотношений (6) и (12) — (14). Следующая теорема непосредственно вытекает из равенства (10).

Теорема 1. Пусть выполнены предположения и для произвольного фиксированного значения 8 пусть задано формулой (8). Тогда с вероятностью 1

Из (8) и (15) следует, что соотношение (4) обеспечивает хорошую аппроксимацию функции правдоподобия при больших значениях и значениях из малой окрестности