5.2. ПОСТРОЕНИЕ ВЫВОДОВ ПО ОМП

5.2.1. Интервальное оценивание

В этом разделе приведены некоторые основные свойства МП-оценок. Подробное описание их можно найти в книгах [Rao (1972); Сох and Hinkley (1974)].

Пусть в обозначает МП-оценку 0, построенную с помощью данных Наиболее важным с практической точки зрения свойством является то, что во многих случаях, особенно для выборок большого объема, применима следующая аппроксимация.

Аппроксимация 5.1.

где С — ковариационная -матрица для . С байесовской точки зрения в (5.6) 0, наблюдаемая ОМП, фиксирована, случайная величина, в то время как с частотной точки зрения фиксирована и неизвестна, а оценка случайная величина. В обоих случаях С считается фиксированной и подразумевается, что плотность по которой вычисляется правдоподобие, задана.

Частотная интерпретация (5.6) состоит в том, что при плотности оценка в повторных выборках распределена приближенно нормально со средним, равным истинному значению в, и ковариационной матрицей С, которые менее вариабельны, чем 0. Байесовская же интерпретация (5.6) заключается в том, что апостериорное распределение условно по и по наблюденным данным, нормально со средним и ковариационной матрицей С, где — статистики, значения которых зафиксированы в соответствии с наблюденными данными.

Вывод аппроксимации 5.1 с байесовской позиции основан на разложении логарифма правдоподобия в ряд Тейлора около ОМП:

где функция вкладов, а наблюдаемая информация, которая определяется как

По определению Поэтому, считая остаточный член пренебрежимо малым, а априорное распределение равномерным в области значений 0, допускаемых данными, получим, что апостериорное распределение имеет плотность

нормального распределения для аппроксимации 5.1 с ковариационной матрицей

которая обратна наблюдаемой информации в 0. Более подробное изложение этих вопросов приведено в [Lindley (1965)].

Частотный вывод аппроксимации 5.1 более сложен. Сначала мы раскладываем в ряд Тейлора около истинного значения до первого члена

Если остаточный член пренебрежимо мал, мы имеем

Можно показать с помощью центральной предельной теоремы, что в определенных условиях регулярности при повторном выборе асимптотически нормальна со средним и ковариационной матрицей

называемой ожидаемой информационной матрицей. По одной из форм закона больших чисел

Объединение этих результатов и приводит к аппроксимации 5.1 с ковариационной матрицей

обратной к ожидаемой информационной матрице в

В любом случае, полагая С равной или некоторой другой близкой матрице, аппроксимацию 5.1 можно использовать для доверительного оценивания . Например, 95%-ные интервалы для скалярного равны:

где на практике можно часто заменять 1,96 на 2. Для векторного -ные эллипсоиды определяются неравенством

где процентиль распределения хи-квадрат с степенями свободы. В более общей форме -ные эллипсоиды для компонент параметра 9 можно задать неравенством

где и подматрица С, соответствующая

Выводы, основанные на аппроксимации 5.1, не только справедливы, если определена и объемы выборок достаточно велики, но и оптимальны. Поэтому неудивительно, что подход с использованием ОМП и аппроксимации 5.1 весьма популярен, особенно если учесть, что во многих областях прикладной математики методы максимизации функций развиты очень хорошо.

На протяжении части II настоящей книги мы сконцентрируем внимание главным образом на больших выборках и постараемся избежать сложностей, связанных с различиями между байесовской и частотной интерпретациями, присущими ситуации, когда выборки малы.

Пример 5.11. Экспоненциальная выборка (продолжение примера 5.2). Дважды дифференцируя (5.2) по в, получаем

Вычисляя математическое ожидание по Y, находим

Подставляя вместо МП-оценку имеем

Следовательно, дисперсия для больших выборок равна

Пример 5.12. Одномерная нормальная выборка (продолжение примера 5.1). Дважды дифференцируя (5.1) по и и подставляя ОМП параметров, получаем

Обращение этой матрицы дает асимптотические значения вторых моментов: где из примера

5.2.2. Проверка гипотез о значении «тета»

Согласованность значений в с данными часто характеризуют не эллипсоидами типа (5.8), а уровнями значимости, в особенности когда число компонент в больше двух. При этом вычисляют расстояние от некоторого гипотетического значения до в:

Эта величина — левая часть (5.8), вычисляемая в Соответствующая процентиль распределения хи-квадрат с степенями свободы есть уровень значимости или -значение для

С частотной точки зрения уровень значимости при заданном дает величину априорной вероятности того, что оценка максимального правдоподобия будет не дальше от чем наблюдаемая ОМП . Мы получим (двусторонний) критерий размера а для проверки

нулевой гипотезы если будем отвергать когда -значение меньше а. Обычно берут а равным 0,1, 0,05 или 0,01.

С байесовской точки зрения позволяет получить асимптотическую апостериорную вероятность множества значений 0, имеющих меньшую апостериорную плотность, чем Примеры и обсуждение этих проблем см. в [Box and Tiao (1973)].

При справедливости предположения 5.1 асимптотически эквивалентна процедура определения уровня значимости по расстоянию между и измеренному с помощью статистики отношения правдоподобия, которая дает

где

Рассмотрим более общий случай. Пусть Предположим, что нас интересует, насколько нулевое значение соответствует данным. Число компонент в, равно Эта ситуация обычно возникает при сравнении адекватности двух моделей называемых вложенными поскольку параметрическое пространство модели получается из параметрического пространства модели А, если положить равным нулю. Два асимптотически эквивалентных подхода к определению уровня значимости, соответствующих применению или выглядят следующим образом:

где ковариационная матрица для такая же, как в (5.9), и

где

значение 0, максимизирующее при ограничении В соответствии с критериями уровня а мы отвергаем гипотезу если -значение для меньше а.

Пример 5.13. Одномерная нормальная выборка (продолжение примера 5.1). Допустим, что Статистика критерия отношения правдоподобия для проверки гипотезы равна:

где Значит, где, согласно примеру 5.12, - статистика для проверки основанная на асимптотической дисперсии для Асимптотически равна и распределена при справедливости по хи-квадрат с степенями свободы. Точный критерий для данного случая будет получен, если сравнивать непосредственно с F-распределением с степенями свободы. Как правило, для малых выборок такие точные критерии отсутствуют, когда мы применяем критерий отношения правдоподобия к данным с пропусками.