§ 12. Метод максимума правдоподобия

К сожалению, нет регулярного метода получения эффективных оценок параметров плотности по выборкам фиксированного объема.

Существует лишь метод, позволяющий строить асимптотически эффективные оценки. Этим методом является разработанный Р. Фишером метод максимума правдоподобия [58]. Однако, прежде чем рассмотреть метод максимума правдоподобия, введем некоторые понятия, необходимые для классификации оценок, получаемых по выборкам большого объема.

В предыдущем параграфе для характеристики оценок параметров распределения, найденных по выборкам фиксированного объема, была введена классификация, представленная на рис. 3.

На рисунке, кроме того, показана мера эффективности несмещенной оценки параметров которая в случае оценки одного параметра определяется величиной равной

В случае же одновременного оценивания нескольких параметров мера эффективности определяется величиной

равной отношению объема эллипсоида

к объему эллипсоида

Для выборок большого объема предлагается несколько иная классификация, в которую введены понятия асимптотически несмещенных, состоятельных и асимптотически эффективных оценок.

Рис. 3.

Асимптотически несмещенными называются оценки, для которых

Состоятельными называются оценки, для которых

Асимптотически эффективными называются такие асимптотически несмещенные оценки, у которых величина

где в случае оценки одного параметра а определяется величиной (3.52), а при совместной оценке нескольких параметров — величиной (3.53). Такая классификация представлена на рис. 4,

Метод максимума правдоподобия связан с исследованием функции правдоподобия

Рис. 4.

В нашем случае, когда выборка получена в результате случайных независимых испытаний согласно плотности функция правдоподобия может быть представлена так:

Метод максимума правдоподобия состоит в том, чтобы в качестве оценки выбрать такое а, которое доставляет максимум функции (3.54). Наряду с функцией правдоподобия (3.54) принято рассматривать функцию

Максимумы функций (3.54) и (3.55) совпадают, и, следовательно, поиск оценок параметров плотности распределения вероятностей оказывается связанным с решениями системы уравнений

или системы уравнений

Теория метода максимума правдоподобия призвана опре делить, насколько оправдан предлагаемый метод оценивания параметров. Эта теория достаточно хорошо развита.

Основное ее содержание заключается в том, что для определенных классов (которым принадлежат все классы плотностей, рассматриваемые в этой книге) метод максимума правдоподобия обеспечивает асимптотическую эффективность оценки [24, 58].

Прежде чем приступить к оценке параметров плотности методом максимума правдоподобия, заметим, что получение оценок здесь свелось к более простой задаче, чем многократное интегрирование (как при реализации байесова метода) или решение уравнения Фредгольма

I рода (при построении несмещенной оценки).

При реализации метода максимума правдоподобия необходимо решить систему уравнений (3.56) или (3.57). Хотя система не всегда линейная, численное ее решение обычно не составляет трудностей, тем более, что для широкого класса функций существует единственное решение.