4.13. ИНТЕРВАЛЫ ПРАВДОПОДОБИЯ

4.13.1. ПРАВДОПОДОБИЕ

а) Функция правдоподобия и логарифмическая функция правдоподобия. Примеры, определения. Пример функции правдоподобия был приведен в разделе 3.3.4. Там же рассматривалось интуитивное обоснование метода наибольшего правдоподобия как метода оценивания неизвестного параметра [см. также раздел 4.10.1]. Подлинное же обоснование этого метода базируется на том, что выборочное распределение оценок наибольшего правдоподобия имеет желаемые свойства.

Однако есть возможность определить оценки наибольшего правдоподобия и их точность методом, не затрагивающим понятия выборочного распределения. Этот раздел кратко знакомит с этой точкой зрения. Мы будем рассматривать функцию как функцию , считая величины фиксированными. Надо принять, что понятие вероятности относится к ситуации, когда наблюдения производятся над случайной величиной и нас интересуют вероятности их попадания в различные множества. При этом параметр в считается фиксированным (даже если он неизвестен). С другой стороны, понятие правдоподобия относится к случаю, когда результаты наблюдений известны и возможные значения в рассматриваются в свете этих данных.

Необходимо подчеркнуть, что несмотря на численное совпадение (или пропорциональность) значений правдоподобия и соответствующих плотностей вероятности, правдоподобие не является вероятностью и имеет совершенно другие свойства.

Пора сформулировать более общее определение правдоподобия, чем то, которое дано в (4.10.1).

Определение 4.13.1. Правдоподобие. Пусть — реализации случайных величин Положим

Здесь в означает (скалярный) параметр совместного распределения случайных величин если это распределение зависит только от одного параметра; в случае нескольких параметров в — вектор. Функция правдоподобия в этих данных определяется как

где — параметрическое пространство, т. е. множество возможных значений — константа относительно , возможно, зависящая от наблюдений. Здесь фиксированы, и, следовательно, правдоподобие есть функция , а не наблюдений Не имеют значения абсолютные величины правдоподобия. Мы будем иметь дело лишь с отношениями значений функции правдоподобия при разных . Так, значение будет сравниваться с с помощью отношения которое, очевидно, не зависит от множителя а в (4.13.2). На практике (4.13.2) часто заменяют его эквивалентом

Если — независимые, одинаково распределенные величины [см. раздел 1.4.2, п. 1], то выражение для функции правдоподобия принимает более простой вид:

где в точке (включая случай дискретной величины X, когда

Логарифм функции правдоподобия часто более удобен в работе, и поэтому вводится логарифмическая функция правдоподобия Очевидно, что если имеет в точке максимум, то и имеет максимум в этой точке.

Пример 4.13.1. Правдоподобие в пуассоновском случае Пусть X — величина, имеющая распределение Пуассона, с параметром так, что

При выборке функция правдоподобия принимает значение

Рис. 4.13.1. Графики функции правдоподобия значение в, максимизирующее — точки, в которых правдоподобие принимает равные значения

График изображен на рис. 4.13.1. Отметим, что хотя величина X дискретна, функция правдоподобия — непрерывная функция в. Она имеет единственный максимум. Он достигается в точке такой, что

т. е.

так что

Максимальное значение пропорционально и правдоподобие любого другого значения в можно сравнить с ним, исследуя отношение

Инвариантность. Предположим, что рассматривается нормальное распределение с нулевым средним и дисперсией или, что то же самое, среднеквадратическим отклонением а. С чем нам следует работать — с правдоподобием а или с правдоподобием Имеет ли значение этот выбор? Одно из привлекательных свойств функций правдоподобия состоит в том, что этот выбор не существен. При данных значениях совокупности наблюдений правдоподобия равны. В этом заключается свойство инвариантности.

Пример 4.13.2. Правдоподобие функции от В. Инвариантность. При данных правдоподобие среднеквадратического отклонения распределения есть

в то время как правдоподобие дисперсии есть

Очевидно, что это одно и то же. В этом примере — взаимно однозначная функция а (по определению и поэтому , а не ). Наши соображения приемлемы для любой взаимно однозначной функции: если правдоподобие при фиксированных данных есть , где — взаимно однозначная функция, то правдоподобие есть

б) Правдоподобие и достаточность. Вся информация , содержащаяся в выборке , отражена функцией правдоподобия и все выборки, дающие одно и то же правдоподобие, содержат одну и ту же информацию.

Если для любой пары возможных значений параметра отношение есть функция совокупности статистик и оно не может быть представлено как функция меньшего числа таких статистик, то набор есть (минимально) достаточный для [см. раздел 3.4].

Так, например, если X имеет распределение Пуассона, правдоподобие принимает для выборки значение и

Следовательно, х — достаточная статистика для 0. Для выборки из нормального распределения с параметрами имеем

откуда следует, что пара статистик является минимальной достаточной статистикой для вектора .