Лекция 11. Метод максимального правдоподобия

1. Сформулировав в даух предыдущих лекциях желаемые свойства оценок, теперь хотелось бы иметь методы оценивания с такими свойствами [7,8].

Одним из таких методов является метод максимального правдоподобия Суть метода следует из его названия: за оценку параметра (параметров) принимается такая оценка, которая доставляет максимум функции правдоподобия

где

- функция правдоподобия выборки измерений,

- искомые параметры (скаляр или вектор),

- вектор-столбец измерений.

Если функция правдоподобия дважды дифференцируемая функция, то условие (11.1) эквивалентно решению системы

Решение (11.2), (11.3) и есть искомая оценка

Если система (11.2), (11.3) имеет несколько решений, то выбираем то решение при котором

На практике часто удобно иметь дело не с функцией . В зтом случае оценка максимального правдоподобия вычисляется решением системы

Поскольку монотонная функция то системы (11.4), (11.5) и (11.2), (11.3) дают одно и тоже решение

2. Достоинство оценок базируется на двух утверждениях. Теорема 1. Если для 6 существует эффективная оценка, то уравнение максимального правдоподобия (11.2) или (11.4) имеет единственное решение совпадающее с этой оценкой.

Действительно, пусть - эффективная оценка. Тогда в неравенстве Крамера-Рао достигается знак равенства, но это аозможно лишь в том случае, если в (10.13) при

где - произвольный постоянный множитель.

Отсюда видно, что условие приводит к уравнению решение которого относительно неизвестного дает

Теорема 2. Оценка максимального правдоподобия состоятельна, асимптотически (при большом объеме выборки измерений) эффективна и распределена при по нормальному закону.

Оценка является функцией измерений со случайными ошибками и в силу этого сама является случайной величиной.

Асимптотическая нормальность распределения оценок максимального правдоподобия означает, что при плотность распределения может быть представлена в виде

где - оценка, полученная решением системы (11.2), (11.3) или (11.4) (11.5), есть случайная величина,

В - вектор-столбец с элементами

где

К - ковариационная матрица размера оценок,

- элемент обратной матрицы

Пример 11.1. Дана выборка измерений где - взаимно независимые случайные ошибки измерений с нормальной плотностью распределения при - неизвестный параметр.

Для нахождения оценки 0 максимального правдоподобия вначале построим функцию правдоподобия выборки

Прологарифмируем (11.12)

Уравнение (11.4) дает

Отсюда решение

В эффектианости оценки (11.15) мы убедились прямыми расчетами в предыдущей лекции. Поскольку есть линейная комбинация случайных величин распределенных по нормальному закону, то также нормально распределенная случайная величина с плотностью вероятности

где - истинное значение параметра, а по (11.8) или по (9.21).

Рассмотрим еще несколько примеров, связанных с оценкой параметров плотности нормального распределения

Пример 11.2. Необходимо по выборке измерений нормально распределенной случайной величины X оценить при известной дисперсии. Эта задача эквивалентна рассмотренной в примере 11.1 и ее решение

Пример 11.3. Необходимо по выборке оценить при известном и плотности

Функция правдоподобия

Логарифм функции правдоподобия

Уравнение правдоподобия

Отсюда

При этом

- математическое ожидание оценки

- дисперсия оценки.

- истинное значение искомой дисперсии исходного нормального распределения.

Легко видеть, что оценка несмещенная, состоятельная

при и эффективная (уравнение Правдоподобия (11.18) имеет единственное решение).

Пример 11.4. Дана выборка измерений случайной величины X с нормальным распределением Необходимо найти

Используя (11,17) и обозначение можно записать

Отсюда уравнение правдоподобия

Отсюда

Здесь специально обозначено

- арифметическое среднее,

- оценка дисперсии.

Оценка зтсгл случае несмещенная, состоятельная и эффективная с дисперсией

Оценка имеет математическое ожидание

и дисперсию

Если по (11.11) вычислить элементы предельной ковариационной матрицы то получим

Отсюда видно, что оценка дисперсии в случае неизвестного значения приводит к неэффективной оценке оценка - смещенная (11.24) и имеет дисперсию (11.25), отличающуюся от предельной

Пример 11.5. Дана выборка независимых измерений случайной величины X, распределенной с плотностью где - целое положительное число, - неизвестный параметр. Необходимо оценить

Решение

Отсюда

Вычислив математическое ожидание и дисперсию 0 при условии, что имеем

Если по (10.17) вычислить дисперсию эффективной оценки то получим

Отсюда и из (11.29) видно, что полученная оценка (11.27) эффективна и состоятельна.

Пример 11.6. Дано: Необходимо найти 0.

Решение

Отсюда видно, что уравнение правдоподобия (11.30) нелинейно и может быть решено только численными методами. В частности, для получения оценки можно предложить итерационную процедуру

Пример 11.7. Дано: взаимно незааисимы. Необходимо найти оценки

Решение.

Максимальное значение при условии достигается при

где

- минимальное значение из

- максимальное значение из

Отсюда

При этом

Отсюда аидно, что оценки а и не яаляются эффективными (они, по крайней мере, смещенные), но состоятельные.