8.3. Неравенство Рао — Крамера — Фреше и измерение эффективности оценок

В п. 8.1.5 введено понятие эффективности оценки неизвестного параметра которое определяется средним квадратом отклонения оценки от истинного значения параметра, т. е. величиной . В связи с этим возникает вопрос: нельзя ли описать ту границу эффективности, т. е. тот минимум (по всем возможным оценкам ) среднего квадрата улучшить которую невозможно? Этот минимум и явился бы тогда той точкой начала отсчета эффективности оценки, отправляясь от которой можно было бы ввести абсолютную шкалу измерения эффективности оценок. На этот вопрос дает ответ неравенство Рао-Крамера—Фреше, известное также как неравенство информации.

Рассмотрим класс всевозможных оценок 0 скалярного параметра от которого зависит плотность вероятности

исследуемой генеральной совокупности. Обозначим

т. е. величина дает нам смещение оценки (очевидно, если оценка несмещенная, то

Если плотность удовлетворяет некоторым условиям регулярности (в смысле характера ее зависимости от параметра ), а именно:

а) область возможных значений исследуемой случайной величины, в которой не зависит от ;

б) в формуле (8.11) и в тождестве допустимо дифференцирование по под знаком интеграла;

в) величина , определенная соотношением (8.6), не равна нулю, то для любой оценки неизвестного параметра имеет место следующее неравенство:

или, что то же,

Имеется обобщение неравенства (8.12) на случай -мерного параметра . В этом случае при тех же условиях регулярности для любой векторной несмещенной оценки неизвестного параметра матрица

является неотрицательно-определенной. Здесь — ковариационная матрица векторной оценки — матрица, обратная к информационной

матрице, определенной соотношениями (8.7) при (т. е. при единственном наблюдении X).

Неравенства информации (8.12)-(8.13) дают возможность ввести количественную меру эффективности оценок в классе регулярных (в смысле соблюдения условий а)- в)) генеральных совокупностей. Естественно, в частности, измерять степень эффективности скалярной несмещенной оценки неизвестного значения параметра отношением минимально возможной величины дисперсии оценки, определяемой правой частью неравенства (8.12), к дисперсии данной конкретной оценки 0, т. е.

Подсчитаем эффективность некоторых оценок параметров а и в условиях примера 8.1.

1. Рассмотрим в качестве оценки среднего значения а нормальной случайной величины среднюю арифметическую (выборочное среднее), т. е. положим

Так как наблюдения независимы и одинаково распределены, имеем:

Поскольку (см. (8.8)) , то в соответствии с (8.14) получаем, что т. е. оценка в данном случае — в случае оценивания среднего значения нормальной генеральной совокупности — является неулучшаемой.

2. Рассмотрим в качестве оценки дисперсии нормальной случайной величины «подправленную» на несмещенность выборочную дисперсию

Выше (см п. 8.1.4) подсчитано, что является несмещенной оценкой дисперсии Необходимые вычисления (см., например, [48, с. 382—383]) дают

Поскольку (см. (8.9)) то в соответствии с (8.14) получаем т. е. оценка не является эффективной, хотя и близка к ней при больших объемах выборок. В то же время можно показать, что если в качестве оценки взять статистику

что в данных условиях допустимо, так как среднее значение а считается известным, то она окажется точно эффективной.

Подчеркнем в заключение, что информационное неравенство справедливо лишь в классе регулярных (в смысле соблюдения условий а)-в) § 8.3) генеральных совокупностей. В частности, если область возможных значений исследуемой случайной величины, для которых плотность положительна, зависит от оцениваемого параметра, то неравенство информации «не работает». Именно такими нерегулярными плотностями являются, например, равномерное распределение (в котором параметрами служат концы диапазона изменения соответствующей случайной величины, см. п. 6.1.7) и экспоненциальное распределение со сдвигом 0, т. е. распределение, задаваемое плотностью

Если, не обращая внимания на то, что эта плотность не удовлетворяет условиям вычислить по формуле (8.6) количество информации, содержащейся в независимых наблюдениях, то получим Следовательно, в соответствий с информационным неравенством (8.12) мы должны были бы прийти к выводу, что дисперсия любой оценки параметра не может быть

меньше . В то же время нетрудно вычислить (см. ниже, п. 8.6.5), что для оценки

где, как обычно, — это минимальное значение в выборке мы имеем:

Так что если для измерения эффективности оценки (8.15) воспользоваться формулой (8.14), то получим, что эффективность оценки 0 не просто больше единицы, но и стремится к бесконечности по мере роста объема выборки (так как ). В подобных ситуациях оценки называют иногда «сверхэффективными».

Замечание о дискретных случайных величинах. Все вышеизложенные результаты (понятие количества информации, неравенство информации, измерение эффективности оценки) распространяются на случай дискретных признаков при соблюдении тех же ограничений с помощью внесения очевидных видоизменений: плотности заменяются вероятностями , а интегрирование — суммированием по всем возможным значениям анализируемой дискретной случайной величины. Таким образом, в качестве дискретных аналогов количества информации (8.6) и информационного неравенства (8.12) будем иметь:

В качестве примера рассмотрим случайную величину подчиненную распределению Пуассона (см. п. 6.1.2), т. е.

т. е. дисперсия любой несмещенной оценки X параметра К не может быть меньше, чем . Если рассмотреть в качестве оценки К выборочное среднее , то будем иметь:

Таким образом, оценка параметра X в распределении Пуассона является эффективной.