7.3. НЕРАВЕНСТВО КРАМЕРА—РАО ДЛЯ РЕГУЛЯРНЫХ ОЦЕНОК. ЭФФЕКТИВНЫЕ ОЦЕНКИ. АСИМПТОТИЧЕСКАЯ ЭФФЕКТИВНОСТЬ ОЦЕНОК МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ

Рассмотрим какую-либо оценку параметра в и наряду со смещением введем характеристику среднеквадратичного отклонения этой оценки от истинного значения параметра, определив матрицу

где оценка Для всякой регулярной оценки имеет место неравенство, полученное Крамером,

где

— информационная матрица Фишера [см. (5.4.11)], а матричное неравенство понимается в том смысле, что разность является неотрицательно определенной матрицей, т. е. при любом

В частности, для диагональных элементов

откуда следует совокупность неравенств для минимально достижимых значений средних квадратов ошибок определения компонент — величин В (7.3.2), естественно, предполагается, что матрица Фишера невырожденная.

При отсутствии смещения оценки это неравенство принимает вид

Оценка для которой в (7.3.6) достигается знак равенства, называется эффективной. Такая оценка обеспечивает максимально достижимую точность определения параметра

Условием существования эффективной оценки является равенство

Поскольку в регулярном случае оценка максимального правдоподобия определяется решением уравнения правдоподобия (7.1.6), из (7.3.7) следует, что если эффективная оценка существует, то именно оценка максимального правдоподобия является эффективной

В том случае, когда и значения независимы и распределены одинаково, информационная матрица Фишера

При этом корреляционная матрица эффективной оценки

имеет порядок и стремится к нулю с ростом объема совокупности данных наблюдения.

В общем случае информационная матрица Фишера связана с введенным в § 7.2 математическим ожиданием отношения правдоподобия во) (7.2.2) соотношением

из которого следует, что в случае существования предела (7.2.9) матрица Фишера асимптотически пропорциональна а корреляционная матрица эффективной оценки убывает пропорционально и стремится к нулю с увеличением объема совокупности данных наблюдения.

Если рассмотреть оценку максимального правдоподобия построенную по совокупности данных наблюдения где последовательность эргодическая, то в регулярном случае эта оценка при является асимптотически эффективной, т. е. корреляционная матрица

Более того, в этом случае оценка максимального правдоподобия асимптотически нормальна, с математическим ожиданием, равным истинному значению 0, и корреляционной матрицей, равной матрице, обратной информационной матрице Фишера. Доказательство этого факта приводится во многих книгах по математической статистике, например в [16].