4.2.4. Оценки максимального правдоподобия

Функции правдоподобия, зависящие от одного переменного.

Задача нахождения хорошей оценки для статистического параметра была решена для многих случаев Фишером [2, 3], который ввел класс оценок максимального правдоподобия. Чтобы проиллюстрировать этот метод, рассмотрим задачу оценки среднего срока службы партии осветительных ламп. Предполагается, что срок службы одной лампы хорошо описывается с помощью случайной величины X с плотностью вероятности

Отсюда выборочная плотность вероятности для случайной выборки, состоящей из ламп, будет иметь вид

До того как произведен эксперимент, плотность вероятности (4.2.13) дает частоту получения различных выборок при условии, что К задано. После того как эксперимент произведен, его можно интерпретировать по-разному. В нашем случае значения выборки

известны, а параметр X неизвестен. Зависящая от К функция, которая получается при подстановке выборочных значений в плотность вероятности (4.2.13), называется функцией правдоподобия для параметра X. Она выражает предпочтительность различных значений X.

Рис. 4.2. (см. скан) Функция правдоподобия для выборки объема 3 из показательного распределения.

Например, предположим, что три лампы выбраны случайным образом из партии, проверены, и в результате проверки оказалось, что их сроки службы равны 2,6; 1,9 и 1,5 час соответственно. Так как функция правдоподобия имеет вид

График функции (4.2.14) приведен на рис. 4.2. Он представляет собой одновершинную кривую с максимумом при Значение параметра , которое максимизирует , называется выборочной оценкой максимального правдоподобия параметра X. Она дает

предпочтительное значение параметра , поскольку при этом значении вероятность получения данной выборки максимальна.

Как правило, для гладкой функции правдоподобия оценку максимального правдоподобия можно получить, решая уравнение

Для правдоподобия, полученного из плотности вероятности (4.2.13), это уравнение дает выборочную оценку максимального правдоподобия . В приведенном выше примере , следовательно,

В некоторых случаях, например если максимум достигается на границе возможных значений параметра, нельзя найти этот максимум дифференцированием. Чтобы не получать лишенных смысла результатов, нужно построить график функции правдоподобия.

Функции правдоподобия от многих переменных. В случае, когда функция правдоподобия зависит от параметров выборочные оценки максимального правдоподобия должны максимизировать одновременно по всем переменным. Если этот максимум можно найти с помощью дифференцирования, то выборочные оценки максимального правдоподобия являются решением системы уравнений:

Иногда удобнее находить максимум логарифма функции правдоподобия Тогда уравнения максимального правдоподобия имеют вид

Пример 1. Рассмотрим функцию правдоподобия для среднего значения и дисперсии нормальной плотности вероятности, причем предполагается, что выборка состоит из наблюдений:

так что логарифмическая функция правдоподобия имеет вид

Выборочные оценки максимального правдоподобия, получаемые из (4.2.18), являются решениями системы уравнений

т. е.

Пример 2. Предположим, что имеется пар измерений как это было для данных об акселерометре на рис. 3.7. Если предположить, что они могут быть описаны парой случайных величин, совместная плотность вероятности которых является двумерной нормальной плотностью, то логарифмическая функция правдоподобия для пар наблюдений имеет вид

Функция правдоподобия (4.2.21) зависит от пяти параметров, и выборочные оценки максимального правдоподобия можно получить, дифференцируя эту функцию по очереди по всем пяти параметрам и решая полученные уравнения. Можно убедиться, что оценки среднего значения и дисперсии те же самые, что и полученные из правдоподобия (4.2.17), а выборочная оценка максимального правдоподобия для коэффициента корреляции имеет вид

Заметим, что (4.2.22) можно переписать в виде

где

является выборочной оценкой максимального правдоподобия ковариации между двумя рассматриваемыми случайными величинами; — выборочные оценки максимального правдоподобия для дисперсий соответственно.

Так как функция правдоподобия является функцией только 0, когда наблюдения известны, то выборочная оценка максимального правдоподобия получается непосредственно как функция этих наблюдений. Обычно в этом месте в статистических работах оставляют функцию правдоподобия и возвращаются к методу выборочных распределений. При этом с выборочной оценкой 0 связывают оценку и находят ее выборочные свойства. Этот подход совместим с подходом выборочных распределений к оцениванию, но это не совпадает с использованием метода правдоподобия для выводов, о чем будет сказано в разд. 4.4.

Выборочные свойства оценок максимального правдоподобия приведены в работе [5]. Наиболее важное из них заключается в том, что для больших оценки максимального правдоподобия приближенно несмещенные и распределены асимптотически нормально с дисперсией

являющейся наименьшей дисперсией, которую может иметь любая несмещенная оценка. Поэтому можно построить приближенный доверительный интервал, используя выборочную оценку максимального правдоподобия, дисперсию (4.2.25) и табл. 3.4.

Результат (4.2.25) показывает, что дисперсия оценки максимального правдоподобия обратно пропорциональна второй производной (и, следовательно, кривизне) функции правдоподобия в точке ее максимума. Выражение

называется количеством информации Фишера. Его интерпретацию мы продолжим в разд. 4.4.