5.1.3. Оценка максимального правдоподобия.

Более общим методом точечного оценивания является выбор при наблюдаемой величине такой оценки , которая максимизирует условную плотность вероятности или Иначе говоря, выбирается значение параметра при котором является наиболее правдоподобным результатом. Ясно, что эта оценка есть функция вектора Логарифмическая функция рассматривается для удобства вычислений и, будучи монотонной, не изменяет точки максимума. Эту оценку называют оценкой максимального правдоподобия. Она представляет собой решение следующих эквивалентных уравнений:

Эти уравнения называют уравнениями правдоподобия.

Пример 5.1. Найдем оценку максимального правдоподобия для вектора математического ожидания, основанную на наблюдениях объектов, которые имеют нормальное распределение Уравнение (5.19) примет вид

Поэтому

Решением (5.21) является выражение

которое представляет собой вектор выборочного среднего.

Теперь найдем нижнюю границу дисперсии любой несмещенной оценки и покажем, что если достигается нижняя граница, то она будет оценкой максимального правдоподобия. Для простоты приводится доказательство для случая одного параметра.

Теорема. Пусть — любая несмещенная оценка параметра Тогда нижняя граница дисперсии оценки определяется выражением

Предполагается, что существует и абсолютно интегрируемы.

Любая несмещенная оценка, при которой в (5.23) имеет место равенство, является эффективной оценкой.

Доказательство. Поскольку — несмещенная оценка, то

Дифференцируя выражение (5.24) по параметру получим

или

Преобразуя (5.26) и применяя неравенство Шварца, будем иметь

Второй сомножитель в последней строке выражения (5.27) является дисперсией оценки. Совместное рассмотрение выражений (5.27) и (5.26) дает первое неравенство в (5.23).

Вторая граница (5.23) может быть получена вычислением второй производной от

Дважды дифференцируя выражение (5.28) по параметру получим

и

Таким образом, первое и второе слагаемые выражения (5.30) имеют одинаковые значения, но разные знаки, что доказывает равенство первой и второй границы (5.23).

Рассмотрим условие, при котором выполняется равенство в последней строке (5.27). Это равенство выполняется тогда и только тогда, когда

где не зависит от вектора Поскольку условие (5.31) должно выполняться для всех значений 0, то в формулу (5,31) можно подставить без нарушения равенства оценку максимального правдоподобия вместо 0. Из (5.19) следует, что для Это приводит к равенству

Для того чтобы правая часть уравнения (5.32) была равна пулю, оценка для всех должна быть равна

Возможность того, чтобы исключается, так как мы хотим, чтобы решение зависело от данных а от не зависит.

Следовательно, если существует эффективная оценка (т. е. выполняется условие (5.31)), то она будет оцецкой максимального правдоподобия.

Пример 5.2. Как было рассмотрено в примере 5.1, для нормального распределения вектор выборочного среднего является оценкой максимального правдоподобия. Уравнение (5.20)

показывает, что условие (5.31) выполняется для этого примера. Так как вектор выборочного среднего является несмещенной оценкой, то для нормального распределения он будет эффективной оценкой вектора математического ожидания.