5.4. Неравенство Крамера - Рао

Неравенство], Крамера — Рао устанавливает нижнюю границу для дисперсии ошибки оценки параметров безотносительно используемого метода оценки. В настоящем разделе вывод этого неравенства будет проведен для случая единственного неизвестного параметра. Позднее более общий результат, полученный Крамером, применяется в специальном случае одновременной оценки радиолокационных параметров дальности и скорости.

При единственном неизвестном параметре в неравенство имеет вид

где обозначает математическое ожидание, а — соответственно неизвестный параметр и его оценку, которая представляет собой некоторую функцию статистических выборок

Кроме того, есть среднее значение , которое в общем случае будет некоторой функцией неизвестного параметра; когда то оценка называется несмещенной. Обозначение представляет совместное распределение вероятностей случайной переменной х при заданном неизвестном параметре. Оно называется функцией правдоподобия и обозначается как если х задано, а в рассматривается как переменная. В действительности неравенство (5.5) корректно установлено через функцию правдоподобия.

Для того чтобы определить условия, при которых неравенство (5.5) справедливо, и описать различные классификации оценок паргшетров, приведем некоторые существенные этапы доказательства этого неравенства, выполненного Крамером. Пусть статистическим описанием оценки служит ; тогда

Это равенство может быть переписано в следующем виде:

Интегральная часть этого выражения представляет собой смещение оценки. Выше мы уже указывали, что если эта часть равна нулю, то оценка называется несмещенной. Сейчас для установления условий регулярности вычислим производную от

Замечая, что

перепишем (5.8) в виде

Уравнение (5.10) может быть представлено как

где вместо использовано Возводя обе части этого равенства в квадрат и применяя неравенство Шварца, можно показать, что

В соответствии с неравенством Шварца равенство в (5.12) имеет место тогда и только тогда, когда существует некоторая величина такая что

Далее, если непрерывная плотность вероятности может быть единственным образом описана с помощью нового набора случайных переменных, таких, что

где есть якобиан преобразования и новый набор случайных переменных, то с целью определения условий регулярности может быть показано, что

если не зависит от для всех точек, для которых Подставляя этот результат в (5.12) и замечая, что первый интеграл в правой части (5.12) равен завершаем доказательство уравнения (5.5).

Оценка является регулярной оценкой 0, если может быть записана в терминах новых случайных переменных и удовлетворяет определенным условиям регулярности х.

Далее, оценка 6 есть достаточная оценка 0, если в дополнение к этому удовлетворяется условие, что не зависит от для всех точек таких, что . В таком случае оценка суммирует всю полезную необходимую информацию, содержащуюся в выборке относительно неизвестного параметра. Наконец, оценка является эффективной, если она будет несмещенной и для нее выполняются условия равенства в соотношении (5.12). Такими условиями будут: 1) оценка является достаточной и 2) существует такая величина что Эффективная оценка обеспечивает наименьшую дисперсию ошибки. Однако жесткие ограничения для существования этой оценки редко удовлетворяются, и поэтому используют еще и другую классификацию оценок. Это будет оценкой, которая сходится по вероятности к неизвестному параметру, когда число независимых выборок стремится к бесконечности, и называется состоятельной оценкой 0. Смысл здесь в том, что для бесконечно увеличивающегося числа выборок плотность вероятности концентрируется в окрестности 0, так что Для любого вероятность того, что стремится к единице.

Несколько более сильный класс образуют оценки, для которых асимптотически нормальна при больших Среди этого класса оценки, для которых дисперсия ошибки определяется нижней границей (5.5), называются асимптотически эффективными оценками 0. Было показано, что подход к оценке параметров, известный как метод максимального правдоподобия, очень часто обеспечивает асимптотически эффективные оценки. Метод максимального правдоподобия обладает тем свойством, что когда эффективная оценка существует, то она может быть найдена с помощью этого метода. Приведенная выше классификация, которую использует Крамер [51, была впервые введена Фишером [6], создавшим теорию статистических оценок.