14.3. ОЦЕНКИ МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ

14.3.1. Уравнения максимального правдоподобия.

Рассмотрим оценку векторного параметра оптимальную по критерию максимального правдоподобия [см. (12.38)]. Так как логарифм — монотонная функция, то экстремумы функций достигаются при одинаковых аргументах .

Поэтому критерий максимального правдоподобия можно представить в виде

(14.64)

Заметим, что функцию правдоподобия в (14.64) можно заменить статистикой отношения правдоподобия

(14.64 а)

где — фиксированный вектор.

Учитывая соотношение (14.53) для независимой выборки, запишем необходимое условие для экстремумов функции переменных (компонент вектора ) в виде системы уравнений максимального правдоподобия

(14.65)

Максимумы будут лишь в тех точках экстремумов, для которых выполняется условие: матрица с элементами

отрицательно определенная.

Оценку удовлетворяющую системе уравнений (14.65) и условию (14.65 а), называют оценкой максимального правдоподобия векторного параметра О или совместной оценкой максимального правдоподобия компонент этого векторного параметра.

Оценки максимального правдоподобия состоятельные и асимптотически совместно эффективные. При больших размерах выборки оценка асимптотически имеет -мерное нормальное распределение с вектором средних, равным , и ковариационной матрицей , где — информационная матрица при размере выборки [см. (14.56)]. Доказательства того, что оценки максимального правдоподобия обладают указанными свойствами, можно найти, например, в [43].

14.3.2. Приближенное решение системы уравнений максимального правдоподобия.

Разложим функцию многих переменных в кратный ряд Тейлора около точки и ограничимся в этом разложении первыми тремя членами:

Подставляя (14.66) в (14.65), запишем систему уравнений максимального правдоподобия:

Заменяя вторые производные логарифма функции правдоподобия их средними значениями и вводя информационную матрицу Фишера [см. (14.57)], запишем уравнение для первого прибли жения оценки максимального правдоподобия в виде

откуда , где — вектор частных производных логарифма функции правдоподобия: в точке . Следующее приближение получается заменой на и на . Если найдено приближение, то

(14.67)

Если функция правдоподобия унимодальна и первое приближение выбрано вблизи максимума, то итерационная процедура (14.67) обеспечивает быструю сходимость к оценке максимального правдоподобия.

14.3.3. Оценивание скалярного параметра.

Рассмотрим частный случай приведенных в п.п. 14.3.1, 14.3.2 результатов для , т. е. когда независимая однородная выборка принадлежит распределению с плотностью зависящему от скалярного параметра.

Оценка максимального правдоподобия параметра Haxoдится из уравнения [см. (14.65)]

при условии [см. (14.65 а)]

Заметим, что для дискретного распределения уравнение максимального правдоподобия имеет вид

Уравнение максимального правдоподобия (14.68) является, в общем, нелинейным алгебраическим или трансцендентным и может иметь несколько решений, соответствующих максимумам и минимумам функции правдоподобия. Каждое решение соответствующее максимуму функции правдоподобия, представляем оценку максимального правдоподобия неизвестного параметра. Если решение уравнения максимального правдоподобия не единственное, то задача состоит в нахождении того решения, которое соответствует абсолютному максимуму (максимуму максиморуму).

Если существует несмещенная эффективная оценка то уравнение максимального правдоподобия имеет единственное решение, которое совпадает с Если — достаточная оценка, то из (14.27) и (14.68) следует

Таким образом, если существует достаточная оценка, то каждое решение уравнения (14.68) является функцией этой достаточной оценки.

Из (14.67) при получаем соотношение

которое определяет итерационную процедуру приближенного вычисления оценки максимального правдоподобия параметра . Структура этого соотношения аналогична (14.47).