4.4.5. Методы извлечения информации из функции правдоподобия

Квадратичные правдоподобия. Логарифмическая функция правдоподобия (4.4.11) квадратична по параметру . В более общем случае, если модель линейна по параметрам, а ошибки распределены по нормальному закону, логарифмическая функция правдоподобия является квадратичной формой от параметров Следовательно, функция правдоподобия сама является многомерным распределением, и ее можно описать с помощью средних значений (выборочных оценок максимального правдоподобия) и матрицы ковариаций этого распределения. Из (3.1.19) мы видим, что матрица вторых производных

является матрицей, обратной матрице ковариаций, соответствующей этому многомерному нормальному распределению.

Неквадратичные правдоподобия. Если модель нелинейна по параметрам или же выборочное распределение отличается от нормального, то функцию правдоподобия нельзя описать только с помощью ее первых двух производных. Как правило, для неквадратичной логарифмической функции правдоподобия лучше всего построить график всей функции. Задача получения выводов относительно 0 сводится в этом случае к задаче описания, или аппроксимации, функции правдоподобия самым простым возможным способом. В некоторых случаях получаются функции правдоподобия с несколькими максимумами; извлечь информацию из такой функции и кратко описать ее трудно. Если же на графике функции

правдоподобия имеется один максимум, то можно использовать способы, приводимые ниже.

В первом из них функция правдоподобия приближается нормальной функцией правдоподобия, а во втором подбирается такое преобразование параметров, чтобы функция правдоподобия преобразованных переменных была ближе к нормальной, чем до применения преобразования.

Способ 1. Приближение с помощью нормального распределения. Предположим, что функция правдоподобия не является нормальной, все же разумно приблизить ее с помощью нормальной плотности вероятности по параметру Поскольку функция правдоподобия определена с точностью до постоянного множителя, приближение будет иметь вид

где — среднее значение аппроксимирующего распределения и — его дисперсия. Если «моменты» функции правдоподобия определить с помощью соотношений

то, используя свойства нормальной плотности, можно найти константы из (4.4.13):

Оценка среднего правдоподобия. Барнард [7] назвал

выборочной оценкой среднего правдоподобия. Если -нормальная функция правдоподобия, - то выборочная оценка среднего правдоподобия совпадает с выборочной оценкой максимального правдоподобия, но в общем случае они будут различны.

Преимущество выборочной оценки среднего правдоподобия над оценкой максимального правдоподобия состоит в том, что первая учитывает форму всей функции правдоподобия, в то время как

вторая характеризует только одну точку на кривой. Поэтому выборочная оценка максимального правдоподобия может вводить в заблуждение для малых выборок, если функция правдоподобия не является нормальной. Для больших выборок большинство функций правдоподобия стремится к нормальной плотности, так что выборочная оценка максимального правдоподобия вместе с ее дисперсией достаточны для описания всей функции правдоподобия.

Можно показать [4], что если нет никакой причины предполагать a priori, что какое-нибудь одно значение 0 более вероятно, чем другие, то оценка соответствующая выборочной оценке среднего правдоподобия (4.4.15), является оценкой с наименьшей среднеквадратичной ошибкой при любом объеме выборки. Это не означает, что для всех значений 0 выборочная среднеквадратичная ошибка этой оценки равномерно меньше, чем для любой другой оценки. Это значит лишь, что после усреднения по всем значениям 0 полученная полная среднеквадратичная ошибка будет наименьшей.

С точки зрения правдоподобия критерий среднеквадратичной ошибки не имеет отношения к делу, и, следовательно, выборочную оценку среднего правдоподобия лучше всего рассматривать как удобный способ описания центра расположения функции правдоподобия.

Пример. Чтобы проиллюстрировать этот способ извлечения информации из функции правдоподобия, рассмотрим пример с биномиальным параметром из разд. 4.2.2. Из функции правдоподобия (4.4.8) получается выборочная оценка максимального правдоподобия,

в то время как выборочная оценка среднего правдоподобия равна

а ее дисперсия имеет вид

Отсюда для функцию правдоподобия (4.4.8) можно аппроксимировать нормальной плотностью вероятности со средним значением и дисперсией Следовательно, -ная, или вероятная область с шансами 7,5: 1 для представляет собой интервал (0,11; 0,69). Для аппроксимирующая нормальная плотность будет иметь среднее значение и дисперсию Как можно увидеть из рис. 4.5, нормальное

приближение для будет намного лучшим, чем для из-за асимметрии функции правдоподобия во втором случае. На самом деле 95%-ная вероятная область для имеет отрицательную левую границу, что говорит о том, что нормальное приближение не оправдано. В этом случае лучший способ состоял бы в следующем.

Способ 2. Преобразование параметров. Если логарифмическая функция правдоподобия не является квадратичной, то полезно найти такие преобразования параметров, что функция правдоподобия стала бы приближенно многомерной нормальной функцией от

Как отмечалось выше, если функция правдоподобия является нормальной, то вторая производная ее логарифма постоянна, т. е. количество информации Фишера равно константе. Если функция правдоподобия не является нормальной, то будет функцией от 0. Это нежелательно, так как в этом случае в различных точках шкалы 0 получается различная информация относительно

в. Поэтому хотелось бы найти преобразование такое, чтобы в масштабе производная была бы константой в окрестности выборочной оценки максимального правдоподобия параметра

Сделав преобразование имеем

и

В точке выборочной оценки максимального правдоподобия так как , следовательно,

Если потребовать, чтобы было положительной константой то отсюда получаем

и, следовательно, с точностью до постоянного множителя желаемое преобразование имеет вид

Пример. Рассмотрим правдоподобие для биномиального распределения (4.4.8), обсуждавшееся выше. В этом случае получаем

если производную брать в точке выборочной оценки максимального правдоподобия Отсюда, используя (4.4.16), получаем

Рис. 4.6. Преобразованные функции правдоподобия для биномиального распределения (нормированные).

Таким образом, функция правдоподобия, у которой в качестве аргумента взят будет лучше аппроксимироваться нормальной плотностью вероятности со средним значением и дисперсией получаемой из (4.4.14).

На рис. 4.6 показаны правдоподобия после преобразования для случаев . В обоих случаях функции правдоподобия похожи на нормальную кривую, в то время как до преобразования кривая для очень сильно отличалась от нормаль ной, как видно из рис. 4.5.

В табл. 4.2 приведены среднее значение и дисперсия аппроксимирующего нормального распределения, а также 95%-ная, или вероятная область с шансами 7,5: 1, для до и после преобразования.

Таблица 4.2. (см. скан) Выборочные оценки среднего правдоподобия и вероятные области для биномиальных параметров, полученные из функций правдоподобия до и после преобразования

Мы видим, что преобразование изменяет выборочную оценку среднего правдоподобия сильнее для асимметричного правдоподобия чем для более симметричного правдоподобия