6.2.5. ТЕОРЕТИЧЕСКОЕ ОБОСНОВАНИЕ МЕТОДА МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ. СВОЙСТВА ФУНКЦИИ ПРАВДОПОДОБИЯ

а) Асимптотическое распределение производной логарифма функции правдоподобия. Основанная на интуиции аргументация для обоснования метода максимального правдоподобия подтверждается теоретическими исследованиями. В «регулярном» случае метод максимального правдоподобия приводит к оценке, которая при неограниченном увеличении объема выборки является асимптотически несмещенной [см. раздел 3.3.2], состоятельной [см. раздел 3.3.1, в)], эффективной [см. раздел 3.3.3, б)], а также асимптотически нормальной [см. II, раздел 13.4]. Более того, о.м.п. является минимальной достаточной статистикой [см. раздел 3.4] при условии, если такие статистики существуют. На практике это означает, что для конечных объемов выборок о.м.п. имеет достаточно малое смещение (или вообще несмещена) и ее точность не намного отличается от теоретически оптимальной.

Еще раз заметим, что при исследовании теоретических свойств о.м.п. мы будем работать не с самой функцией правдоподобия, а с ее логарифмом. Далее будем записывать функцию правдоподобия (6.2.4) одним из следующих способов:

для данного х эту величину можно считать реализацией случайной переменной

Установим сначала следующее свойство:

Это свойство вытекает из того, что

где — совместная , т. е.

(здесь обозначает -мерный бесконечный интеграл по всему выборочному пространству [см. IV, раздел 6.4], а обозначает . В регулярном случае предыдущее выражение может быть переписано так:

поскольку плотность распределений вероятностей.

Другое свойство производной логарифма которое понадобится нам в дальнейшем, состоит в следующем.

Дисперсии и ковариации случайных переменных задаются формулами:

Эти формулы следуют из соотношения

Для доказательства последнего равенства заметим, что

где — выборочная п.р.в. Тогда

где, как и прежде, интеграл берется по всему выборочному пространству. В регулярном случае

но последнее выражение равно нулю, так как . Таким образом, окончательно

Первое тождество в (6.2.13 б) вытекает из этого равенства непосредственно. Второе может быть установлено аналогично.

Отметим важное асимптотическое свойство о.м.п.:

Этот результат вытекает из того, что в случае н.о.р. наблюдений представляет собой сумму н.о.р. случайных переменных с положительной дисперсией, и поэтому в соответствии с центральной предельной теоремой [см. II, раздел 17.3] величина асимптотически нормальна, т. е. для конечных объемов выборок распределение этой величины может быть удовлетворительно аппроксимировано законом нормального распределения. Многомерный вариант центральной предельной теоремы приводит к результату (6.2.14).

Однопараметрическая ситуация. В частном случае, когда существует лишь один неизвестный параметр результат (6.2.14) может быть сформулирован так:

Из свойств нормального распределения следует, что с определенной точностью интервал

является центральным 95%-ным вероятностным интервалом [см. раздел 4.1.3] для [см. пример 4.5.2, б).

б) Доверительный интервал для оценивания параметра. Первый метод. В предыдущих разделах на основе метода максимального правдоподобия был предложен прямой эффективный подход для построения доверительного интервала для оцениваемого параметра. Однако нужно заметить, что на практике иногда используют более грубый, но достаточно удовлетворительный метод приближенного построения доверительного интервала. Этот подход будет описан в разделе 6.2.5.

Начнем с описания первого (прямого) метода. Ограничимся однопараметрическим случаем, для которого результат (6.2.14) может быть сформулирован так:

Если функция взаимно однозначна по , то принадлежность значений этой функции интервалу эквивалентна тому, что параметр принадлежит интервалу где — корни уравнений

Это утверждение приводит к следующему (первому) методу построения доверительного интервала для в: интервал где — корни уравнений

является доверительным интервалом [см. раздел 4.2] для с коэффициентом доверия, приближенно равным 0,95, а определяется по формуле (6.2.15).

Аналогично интервалы строятся с другими коэффициентами доверия. Этот метод построения доверительных интервалов проиллюстрирован далее в примерах.

Пример 6.2.8. Доверительный интервал для параметра экспоненциального распределения. Рассмотрим однопараметрическое экспоненциальное распределение [см. II, раздел 10.2.3] с плотностью Заметим, что Для данных функция правдоподобия имеет вид

а ее логарифм равен: , откуда

Таким образом, уравнение правдоподобия имеет вид

откуда находим о.м.п. .

Рассмотрим теперь случайную переменную она равна:

Поскольку в соответствии с (6.2.13 а)

Дисперсия в соответствии с (6.2.15) равна:

Поскольку это соответствует прямому вычислению на основе выражения .

Займемся теперь исследованием распределения величины Из результата (6.2.14) вытекает, что эта величина приближенно распределена как Истинное распределение как следует из предыдущей формулы, совпадает с распределением случайной величины . Но функция плотности распределения в точке у равна [см. раздел 2.4.2]. Это совпадает [см. II, раздел 11.3] с плотностью гамма-распределения с математическим ожиданием дисперсией и коэффициентом асимметрии, равным При средних и больших значениях это распределение почти симметрично с эксцессом, равным который приблизительно равен 3 (значение эксцесса, соответствующее нормальному распределению). Для средних объемов выборки распределение близко к нормальному с математическим ожиданием, в соответствии с (6.2.13 а) равным , и дисперсией, в соответствии с (6.2.15) равной

Вернемся к точности оценивания параметра в. Сначала построим точный 95%-ный центральный вероятностный интервал [см. раздел 4.1.3] для случайной величины Поскольку плотность в точке равна случайная величина имеет распределение х2[см. раздел 2.5.4, а)] с степенями свободы. На основе этого распределения можно найти (точно) отсекающие 2,5% площади соответственно от левого и правого хвоста ф.р. Так, допустим, объем выборки Тогда из таблиц распределения с 80-ю степенями свободы находим, что . С вероятностью, равной 0,95, можно утверждать, что

т. е.

а значит,

В терминах оценки можно утверждать, что с вероятностью, равной 0,95, интервал (0,714 0, 1,3330) накрывает истинное (неизвестное) значение параметра Такой интервал называется доверительным [см. гл. 4]; 95%-ными доверительными границами для 0 являются .

Построенный доверительный интервал является точным. Теперь воспользуемся тем, что в соответствии с (6.2.14) величина имеет распределение, близкое к нормальному с нулевым математическим ожиданием и дисперсией Поэтому можно считать реализацией нормальной переменной реализацией нормальной переменной Центральный 95%-ный доверительный интервал находится из решения неравенств

Для примера, как и ранее, положим Тогда

Итак, 95%-ным доверительным интервалом для 0, полученным на основе приближения (6.2.14) или, что эквивалентно, на основе (6.2.16), будет интервал

Сравним его с точным интервалом

Разница, как видим, не очень велика.

в) Аппроксимация выборочного распределения о.м.п. Вывод приближенного распределения и получение на его основе доверительного интервала (6.2.16) основаны на применении центральной предельной теоремы [см. II, раздел 17.3], и можно ожидать, что при больших это приближение будет достаточно удовлетворительным. На практике, однако, часто необходимо распределение самой о.м.п., а не величины Это распределение предлагается ниже.

Приближенное распределение о.м.п. 1) В однопараметрическом случае с функцией правдоподобия выборочное распределение о.м.п. приближенно нормально с математическим ожиданием и дисперсией где

Здесь обозначает случайную переменную, порождаемую где является реализацией

Приведенное выше выражение для может быть оценено как

2) Если число неизвестных параметров больше одного, совместное выборочное распределение о.м.п. асимптотически нормально [см. II, раздел 13.4] с математическим ожиданием ковариационной матрицей , где элемент матрицы А равен

или приближенно

Как правило, или элементы матрицы А в зависят от неизвестных истинных параметров поэтому для получения оценок этих величин необходимо вместо подставить соответствующие оценки этих параметров, например о.м.п. .

В двухпараметрическом случае ковариационную матрицу о.м.п. можно записать в виде

где — выборочная дисперсия — выборочная дисперсия их выборочный коэффициент корреляции. Ее можно оценить как

которая в свою очередь приблизительно равна

где производные вычислены в точке . Эти формулы применяются в примерах 6.4.1-6.4.4.

Основания для предложенных приближений читателю могут показаться довольно поверхностными, однако, несмотря на это, в большинстве случаев эти приближения на удивление хороши.

г) Доверительные интервалы и области. Второй метод. Прямой метод построения приближенных доверительных интервалов был описан в разделе 6.2.5, п.б). Здесь мы рассмотрим второй, более грубый метод, основанный на формулах (6.2.17 а) — (6.2.17 д). Это наиболее распространенный метод для построения доверительных интервалов на практике.

Один оцениваемый параметр. При одном оцениваемом параметре стандартное отклонение о.м.п. § находится на основе формулы (6.2.17 а), откуда

Поэтому приближенным 95%-ным доверительным интервалом для 0 можно считать

[см. пример 4.5.2, б)].

Рассмотрим экспоненциальное распределение из примера 6.2.7. В этом случае

поэтому

а значит, 95%-ным доверительным интервалом для будет

Многопараметрический случай. Ограничимся лишь двумя параметрами оцениваемыми, как и прежде, по методу максимального правдоподобия. Как следует из сказанного выше, о.м.п. (приближенно) распределена по двумерному нормальному закону с математическим ожиданием и ковариационной матрицей (6.2.17 д). Рассмотрим две ситуации: в первой строится доверительный интервал для некоторой линейной комбинации параметров (что сводится к однопараметрической задаче), а во второй строится совместная доверительная область для .

1) Приближенным 95%-ным доверительным интервалом для линейной комбинации является интервал

где

оценка ковариационной матрицы (6.2.17 д), см. (4.9.5).

2) Допустим, теперь требуется построить совместную (двумерную) доверительную область для пары параметров Такой областью с приближенно 95%-ным уровнем доверия будет внутренность эллипса

где

оцененная ковариационная матрица (6.2.17 д). Более подробно об этом сказано в разделе 4.9.2. Точные уравнения для эллипсов приведены в примерах 6.4.3, 6.4.4.