3.3.3. ЭФФЕКТИВНОСТЬ. ГРАНИЦА КРАМЕРА—РАО

а) Неравенство Крамера—Рао: случайная выборка из одновременного однопараметрического распределения. Примеры 3.3.4, 3.3.5 и 3.3.6 показывают, как достичь минимальности выборочной дисперсии для оценки специальной функциональной формы. Однако они не дают ответа на вопрос, может ли оценка другой функциональной формы иметь меньшую дисперсию. Ответ можно получить из следующей теоремы, которая при весьма общих условиях указывает нижнюю границу для выборочной дисперсии несмещенной оценки.

Теорема 3.3.2. Нижняя граница для выборочной дисперсии несмещенной оценки. Пусть — выборка независимых наблюдений случайной переменной Х, п.р.в. которой в точке х равна , где — неизвестный параметр. Пусть — несмещенная оценка в. Тогда при некоторых условиях регулярности выборочная дисперсия оценки удовлетворяет неравенству

где

и

Р. Фишер назвал количеством информации в выборке, а — количеством информации в отдельном наблюдении. Равенство в (3.3.5) достигается, если и только если

Из (3.3.5) следует, что при упомянутых условиях регулярности нижняя граница для выборочной дисперсии несмещенной оценки, основанной на наблюдениях, пропорциональна

Наиболее ранняя формулировка этой теоремы была предложена Фишером. Дальнейшее развитие и обобщения связаны с именами Фреше, Дюгю, Крамера, Не стоит привлекать имя Фишера к каждой статистической концепции или теореме, идущей от него: это неуместно, как и подобное упоминание Гаусса в анализе. На эту теорему обычно ссылаются, как на неравенство Крамера—Рао. (Отметим, что условие (3.3.7) выполнено, в частности, если

В этом случае

следовательно,

и условие (3.3.7) превращается в

по требованию несмещенности оценки . О п.р.в. вида (3.3.8) говорят, что она принадлежит экспоненциальному семейству [см. раздел 3.4.2].)

Пример 3.3.7. Достижимость границы Крамера—Рао в случае биномиального распределения. Предположим, что X имеет распределение Бернулли [см. II, раздел 5.2.1] с параметром так что п.р.в. X равна:

Тогда

и

Поскольку получаем

Нижняя граница, следовательно, равна Мы видим, что

Это равно если мы возьмем скажем, где т. е. числу успехов в выборке). Следовательно, граница Крамера—Рао достигается в этом примере на оценке

Пример 3.3.8. Граница Крамера—Рао для в случае распределения . Положим, что X нормально распределена с Тогда п.р.в. равна:

откуда

Поскольку то откуда

Нижняя граница для выборочной дисперсии, следовательно, равна Она достижима, поскольку

если мы возьмем [см. пример 3.3.6].

Пример 3.3 9. Граница Крамера—Рао для о в распределении . Предположим, как и в примере 3.3.8, что X нормально распределена с но на этот раз параметр 6, подлежащий оценке, будет стандартным отклонением, т. е. . В этом случае

откуда

и

так что

Следовательно, нижняя граница Крамера—Рао равна Она, однако, недостижима в условиях теоремы, поскольку

что не имеет формы, требуемой (3.3.7).

Существуют модификации теоремы 3.3.2, применимые к смещенным оценкам. Например, теорема 3.3.3.

Теорема 3.3.3. Граница Крамера—Рао для смещенных оценок. Предположим, в обозначениях теоремы 3.3.2, что — оценка в со смещением [см. определение 3.3.2], т. е. с выборочным математическим ожиданием Тогда выборочная дисперсия в не меньше, чем

б) Достижимость границы Крамера—Рао. Эффективность оценки.

Определение 3.3.3. Эффективные оценки. Несмещенная оценка параметра называется эффективной, если ее выборочная дисперсия равняется границе Крамера—Рао.

Эффективная оценка далеко не всегда существует. Более того, как показывают примеры 3.3.8 и 3.3.9, может существовать эффективная оценка параметра и не существовать эффективной оценки а, ее квадратного корня. Это часть платы за удобаео работы с математическим ожиданием.

Из (3.3.7) следует, что только в исключительных случаях семейство распределений допускает эффективное оценивание своих параметров. Когда эффективная оценка существует, ее, несомненно, стоит использовать. В терминах критерия дисперсий лучшей оценки не существует (в условиях теоремы, конечно). Можно сказать, что другая несмещенная оценка, не являющаяся эффективной, скажем в, использует выборку менее эффективно, поскольку ее точность (измеряемая обратной величиной ее выборочной дисперсии) меньше, чем у эффективной оценки. Эффективность можно определить как отношение Концепцию эффективности можно применять и тогда, когда эффективной оценки не существует. Вот общепринятое определение.

Определение 3.3.4. Эффективность оценки. Эффективностью несмещенной оценки параметра в, основанной на выборке объема называется

где — нижняя граница Крамера—Рао [см. теорему 3.3.2].

Подобное употребление слов «эффективный», «эффективность» несколько сомнительно, поскольку не всегда малая выборочная дисперсия предполагает высокую точность. Даже если мы не будем обращать на это внимание, употребление слова «эффективность» при недостижимости границы Крамера—Рао двусмысленно, поскольку наилучшая оценка может иметь эффективность менее 100%. Поэтому чаще используется понятие относительной эффективности.

Определение 3.3.5. Относительная эффективность. Относительная эффективность двух несмещенных оценок параметра , основанных на общей выборке, определяется как

эффективность в относительно в больше единицы, если

Пример 3.3.10. Относительная эффективность среднего отклонения и выборочного стандартного отклонения как оценок . В случае нормального распределения с параметрами граница Крамера—Рао для выборочной дисперсии несмещенной оценки а, основанной на выборке объема равна Эта граница недостижима, как показано в примере 3.3.9.

Среднее отклонение

является несмещенной оценкой и имеет выборочную дисперсию так что ее эффективность равна: . Стандартная оценка равна:

С ее помощью мы находим несмещенную оценку заданную [см. (2.5.29)] соотношениями

Ее выборочная дисперсия равна [см. (2.5.31)], а эффективность

В отличие от оценки среднего отклонения а эффективность зависит от объема выборки

Некоторые значения относительных эффективностей о и (взятые из табл. 2.5.2) приведены ниже:

в) Условия регулярности. Условия регулярности, при которых доказана теорема 3.3.2, как говорят, выделяют регулярный случай оценивания. Они обеспечивают справедливость тождества

где

поскольку при доказательстве теоремы нужно провести это дифференцирование под знаком интеграла. Трудности возникают, если п.р.в. имеет угол или разрыв [см. IV, раздел 2.3] в точке, которая сама есть функция от в. Например, если

мы имеем

и

[см. IV, раздел 4.7]. Аналогично и для многомерного интеграла наличие как функции х таких точек разрыва, которые изменяются в зависимости от — самый важный практический пример отступления от условий регулярности, требуемых теоремой.

Пример 3.3.11. Экстремальность равномерного распределения. Пусть X имеет непрерывное равномерное распределение на , т. е. его п.р.в. равна:

П.р.в. в точке наибольшего наблюдения в выборке объема равна [см. II, пример 15.2.1], его математическое ожидание . Следовательно, несмещенная оценка в. Однако применить концепцию эффективности к этой оценке невозможно, поскольку обсуждаемое распределение имеет разрыв в точке в и, следовательно, не удовлетворяет условиям теоремы. Фактически выборочная дисперсия в равна т. е. убывает гораздо быстрее при росте чем нижняя граница Крамера—Рао в случае регулярной оценки, — как , а не как .

г) Неравенство Крамера—Рао для независимых векторных наблюдений однопараметрического многомерного распределения. Теорема 3.3.2 была высказана для независимой скалярной выборки из однопараметрического распределения. Она остается справедливой и в случае, когда каждое наблюдение в ее утверждениях понимается как векторное наблюдение, извлеченное из многомерной совокупности, как, например, из двумерного распределения пары независимыми парами наблюдений

Случайная переменная X, упомянутая в теореме, заменяется парой с совместной п.р.в. в точке , а наблюдение заменяется парой

При условиях регулярности неравенство (3.3.5) остается верным при замене (3.3.6) на

Граница достижима, если и только если

аналогично (3.3.7). В обоих случаях должна быть несмещенной оценкой .

Пример 3.3.12. Однопараметрическое триномиальное распределение. Пусть пара подчиняется триномиальному распределению с параметрами [см. II, раздел

Отсюда

Поскольку имеем

Для выборки из пар независимых наблюдений нижняя граница Крамера—Рао для выборочной дисперсии несмещенной оценки в равна:

Эта нижняя граница достигается для оценки

поскольку в силу (3.3.11)

д) Неравенство Крамера—Рао для наблюдений, не являющихся независимыми и/или одинаково распределенными. Модифицировав неравенство Крамера—Рао, можно применять его и в случае, когда наблюдения не являются независимыми и/или неодинаково распределенными. Например, когда — реализации нормальной случайной величины для которой (упрощенная версия линейной регрессии). Пусть определена, как в теореме 3.3.2. Неравенство Крамера—Рао тогда будет иметь вид

где

— совместная п.р.в. случайной переменной в точке

е) Обобщение неравенства Крамера—Рао на случай нескольких параметров. Информационная матрица. Пусть X имеет в точке — неизвестные параметры, и пусть — выборка из наблюдений X. (Здесь X и могут быть скалярами или векторами. Мы рассмотрим скалярную ситуацию. Добавления, которых требует векторная ситуация, обсуждались в разделе 3.3.3, г).)

Функция правдоподобия [см. раздел 4.13.1] равна:

Пусть — несмещенная оценка

Аналогом количества информации в многопараметрическом случае служит информационная матрица симметрическая - матрица [см. I, раздел 6.7]; элемент равен:

Аналогом выборочной дисперсии единственной оценки в случае многих параметров служит выборочная матрица ковариаций V оценок т. е. симметрическая -матрица, -элемент которой равен выборочной ковариации когда элемент равен выборочной дисперсии .

В этой ситуации аналогом неравенства Крамера—Рао (3.3.5) будет следующее: матрица

положительно полуопределена; это означает, что для каждого ненулевого вектора X выполняется неравенство

т. е.

(Уточнение: означает выборочную дисперсию .)

Поясним смысл предыдущего неравенства. Выборочная дисперсия любой линейной комбинации оценок не меньше, чем дисперсия той же линейной комбинации случайных величин для которых матрица служит матрицей ковариаций.

и т. д., где -элемент матрицы

Пример 3.3.13. Среднее и дисперсия нормального распределения.

Пусть X распределено нормально, и т. е. в точке х равна:

Пусть — несмещенные оценки и основанные на выборке объема (Так, мы можем взять и )

Имеем

откуда

Взяв математические ожидания, найдем информационную матрицу

откуда [см. I, равенство (6.4.11)]

Интерпретация неравенства (3.3.13) для этого примера следующая. Для любой пары постоянных и для любых несмещенных оценок параметров справедливо соотношение

В этом примере для оценок совпадает с ковариационной матрицей т. е. неравенство (3.3.13) превращается в равенство.

Пример 3.3.14. Двухпараметрическое гамма-распределение. Положим, X имеет двухпараметрическое гамма-распределение [см. II, раздел 11.3.1] с п.р.в. в точке х

На основании (3.3.12) и равенства найдем информационную матрицу, основанную на наблюдениях:

где [см. Abramowitz and Stegun (1970) - G]. Обращая ее, получаем

где

Например, если то и

Следовательно, для несмещенных оценок а, 0

а для произвольных