§ 3.22. Связь с методом максимального правдоподобия

Метод максимального правдоподобия широко распространен в статистике. Этот метод основан на уверенности в том, что наилучшая оценка должна давать наибольшую вероятность именно для той реализации, которая фактически наблюдалась в эксперименте.

Пусть  — последовательность независимых случайных величин с одинаковым распределением вероятности , где  — векторный параметр, который необходимо оцепить. Функция правдоподобия  определяется как функция векторного параметра  которая образуется из совместного распределения выборки :

.              (3.82)

Оценка  находится из условия максимизации функции правдоподобия по параметру :

.                              (3.83)

Часто вместо функции правдоподобия  оперируют ее логарифмом . При этом (3.83) заменяется эквивалентным условием

,   (3.84)

и задача состоит в определении вещественных корней уравнений (3.83) или (3.84), которые как раз и являются искомыми оценками. Это в общем случае может быть осуществлено с помощью регулярных итеративных методов. Но поскольку функция правдоподобия изменяется с ростом числа наблюдений, то оказывается более удобным использовать вероятностные итеративные методы.

Представим соотношение (3.84) в виде

.                    (3.85)

Пусть выполнены все условия, при которых можно воспользоваться соотношением (3.81). Тогда (3.85) запишется так:

.      (3.86)

Теперь можно воспользоваться алгоритмом

.    (3.87)

Этот алгоритм получается и из несколько иных соображений. Действительно, рассмотрим математическое ожидание

.       (3.88)

Здесь предполагается, что наблюдаемые реализации принадлежат совокупности, соответствующей распределению . Если взять градиент при значении , то из (3.88) после очевидных преобразований следует:

,                (3.89)

поскольку

.                                                   (3.90)

Таким образом, при  математическое ожидание от  обращается в нуль. Это дает возможность заключить, что алгоритм определения  имеет вид (3.87). При определенном выборе  можно достигнуть того, что оценка будет состоятельной, асимптотически несмещённой и асимптотически эффективной.