Лекция 10. Эффективные оценки

Зададимся вопросом о том, может ли дисперсия оценки при фиксированном конечном объеме аыборки быть сколь угодно малой.

1. Ваедем понятие функции правдоподобия [5,8].

Пусть - есть сумма постоянной 0 и случайной величины с плотностью аероятности Тогда плотность вероятности запишется в виде

Пусть дана выборка независимых измерений

Обозначим

Тогда совместная плотность распределения компонент вектора X может быть записана в виде

Функция называется функцией правдоподобия вектора X или просто правдоподобием.

2. Здесь и далее в этой лекции будем считвть

При этих обозначениях

поскольку - плотность вероятности X.

Далее, предполагая возможность дифференцирования под знаком интеграла, имеем

Но, по (10.3)

Следоаательно,

Положим, что

Здесь - произвольная (любая) оценка 0 по выборке Интеграл в левой части (10.5) означает математическое ожидание оценки Мы предполагаем, что в общем случае оценка может быть смещенной, причем смещение может зависеть от 0.

Дифференцируя обе части (10.5) по 6 и предполагая возможность дифференцирования под знаком интеграла, имеем

С другой стороны, умножая правую и левую часть (10.4) на получим

Вычитая из (10.6) равенство (10.7), получим

или, по-другому

Известно, что для любых случайных величин X и Y, имеющих конечную дисперсию, справедливо неравенство

Действительно, для любого а можно записать

(математическое ожидание положительной величины не может быть отрицательным).

Из (10.11)

Неравенство (10.12) относительно а представляет собой квадратный трехчлен. Для его выполнения необходимо, чтобы дискриминант не был положительным:

Отсюда вытекает (10.10), причем равенство выполняется в том и только в том случае, если где у - произвольный постоянный множитель. Используя (10.10) применительно к (10.9), можно записать

Поскольку по определению дисперсии

то (10.13) принимает вид

где

- произвольная оценка параметра по выборке

- смещение математического ожидания оценки относительно истинного значения (для несмещенных оценок )

Неравенство (10.14) называется неравенством Крамера-Рао.

3. Неравенство (10.14) можно записать в другом виде.

Дифференцируя (10.4) по и предполагая возможность дифференцирования под знаком интеграла, получим

или

Отсюда

4. Таким образом, мы показали, что дисперсия любой оценки по аыборке измерений не может быть меньше правой части неравенства (10.15).

Если оценка несмещенная и ее дисперсия равна правой части (10.15), то такая оценка назыаается эффективной и обозначается

Следовательно, для эффектианой оценки дисперсия принимает минимально возможное значение

или, что то же самое,

Дисперсия любой другой оценки больше

Очевидно, что осноаное неравенство (10.14) было получено при ряде предположений относительно функции правдоподобия . В частности, мы неоднократно предполагали аозможность дифференцирования под знаком интеграла. Если просуммировать все необходимые требоаания к для получения неравенства (10.14), то получим ряд следующих ограничений на класс

4.1. Функция дважды дифференцируема.

4.2. Все встречающиеся интегралы при выводе неравенства (10.14) - конечны.

4.3. Границы области возможных изменений не зависят от , то есть пределы интегрирования в (10.3) не зависят от .

4.4. Операции интегрирования и дифференцирования взаимно коммутируемы. Например,

5. Вернемся к вопросу предыдущей лекции о возможности существования оценки, лучшей по дисперсии, чем Для ответа на этот вопрос необходимо в каждом конкретном случае распределения ошибок вычислить дисперсию эффективной оценки и сравнить ее с дисперсией

Пример 10.1. Дана выборка измерения Ошибки разных измерений азаимно незааисимы и распределены по нормальному закону с плотностью

Необходимо найти оценку .

Эта задача эквивалентна задаче о нахождении параметра по выборке где - значения случайной величины X с распределением

Предположим, существует эффективная оценка параметра Зададимся вопросом, какова дисперсия такой оценки ?

Для ответа воспользуемся (10.17):

Отсюда и из (10.17) получим

Сравнивая (9.21) с (10.26) видим, что оценка является эффективной в условиях рассматриваемой задачи (10.19).