6.2.2. ОЦЕНКА МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ

Рассмотрим сначала однопараметрическую ситуацию. Функция правдоподобия определенная выше, является функцией параметра и вектора данных х. Оценкой максимального правдоподобия параметра в называют то значение параметра которое максимизирует соответствующий метод называют методом максимального правдоподобия. В большинстве случаев существует единственная оценка максимального правдоподобия, т. е. единственное значение максимизирующее функцию правдоподобия [см. рис. 6.2.1 — 6.2.6]. Значение в (которое в многопараметрической ситуации может быть вектором) является функцией данных х, т. е. статистикой. Чтобы подчеркнуть зависимость от х, оценку будем записывать в виде Например, в рассмотренном примере, где — независимые наблюдения, подчиненные распределению Пуассона с параметром функция правдоподобия имеет вид , где х — среднее выборки, и поэтому максимум этой функции достигается в единственной точке [См. рис. 6.2.1]. Таким образом, .

Статистические свойства оценки полностью определяются исходной случайной переменной [см. раздел 11.4.2], для которой эта оценка является реализацией. При только что рассмотренном пуассоновском распределении такой исходной случайной переменной служит , где Х - н.о.р. случайные величины, распределенные по закону Пуассона с параметром Отсюда, в частности, следует, что, во-первых, т. е. оценка несмещена [см. раздел 3.3.2], во-вторых, что и в-третьих, что выборочное распределение является пуассоновским с параметром [см. табл. 2.4.1]. Точность оценивания с помощью может быть описана разными способами. По-видимому, наиболее удовлетворительным является построение 95%-ного доверительного интервала для на основе [см. гл. 4].

Двухпараметрическая ситуация представлена в следующем примере.

Пример 6.2.6. Оценка максимального правдоподобия параметров нормального распределения. В примере 6.2.4 была построена функция правдоподобия нормального распределения, функция плотности которого пропорциональна (6.2.8). Соответствующая поверхность имеет вид гладкой горы с единственной вершиной [см. рис. 6.2.4 и 6.2.5]. На вершине, координаты которой обозначим через , касательная плоскость горизонтальна, поэтому, если записать вместо , условие максимума может быть выражено в виде следующих уравнений:

где производные вычислены в точке . Эти уравнения назовем уравнениями правдоподобия, их решение определяет точку максимума . Поскольку

и аналогично уравнения правдоподобия в эквивалентной форме могут быть записаны в виде

Следует отметить, что дифференцирование, как правило, легче проводить для логарифма функции правдоподобия, т. е. последняя запись предпочтительней.

Из (6.2.8) имеем

поэтому

Приравнивая эти выражения к нулю, получаем оценку для :

и

Так, для данных из примера 6.2.4

Вместо параметров можно взять параметры Оценки максимального правдоподобия для и можно получить, подставляя в вместо а величину после чего запишем условие максимума:

Решением этих уравнений будут оценки

для есть квадрат о.м.п. для а. Свойство «инвариантности», как мы увидим позднее, широко используется далее.

Разумеется, далеко не всегда уравнения правдоподобия могут быть решены аналитически. Это следует считать, скорее, исключением. Как правило, уравнения необходимо решать численными методами, например, итеративно. Такая ситуация рассмотрена ниже.

Пример 6.2.7. Численное отыскание о.м.п. для двух параметров. Функция правдоподобия (6.2.9) из примера 6.2.5 приводит к следующим уравнениям правдоподобия:

В качестве начального приближения для можно взять значения получаемые в результате сравнения матрицы вероятностей перехода с матрицей частот перехода. Эти матрицы соответственно имеют вид:

Сумма Сумма

поэтому будет равно , а равно . Применение итеративных методов или прямое вычисление функции правдоподобия в окрестности точки (0,068, 0,600) приводит к о.м.п.

(Дальнейшее обсуждение см. в примере 6.4.4)