1.3. ЭФФЕКТИВНЫЕ ОЦЕНКИ

Одним из основных требований при построении оценок является получение оценок с минимальной дисперсией или минимальным рассеянием (если они существуют). В связи с этим в математической статистике введено понятие эффективных оценок [14],

Применительно к смещенным оценкам параметра сигнала оценка называется эффективной, если среднее значение квадрата отклонения оценки от истинного значения оцениваемого параметра I не превышает среднее значение квадрата отклонения любой другой оценки у, т. е. выполняется неравенство

Для несмещенной оценки рассеяние оценки совпадает с ее дисперсией следовательно, эффективная несмещенная оценка определяется как оценка с минимальной дисперсией.

С. Рао [23] и Крамер [14] независимо друг от друга получили выражения для нижних границ условных дисперсий и рассеяний оценок, которые являются дисперсиями и рассеяниями эффективных оценок при условии, что таковые существуют для данных параметров.

Приведем вывод этого выражения, полагая, что необходимые допущения справедливы.

Оценку параметра у представим в сокращенной записи где X — многомерная выборка из реализации на интервале времени

Усредним выражение

по всевозможным значениям многомерной выборки X, которая описывается условной плотностью вероятности Учитывая известное соотношение для производной натурального логарифма после усреднения получаем

В силу свойства нормировки плотности вероятности последнее слагаемое в (1.3.3) равно нулю. Интеграл от первого слагаемого представляет среднее значение оценки

С учетом последнего усредненное значение можно записать в виде

Левая часть этого выражения представляет собой среднее значение произведения двух случайных величин с конечными значениями первых двух моментов. При этих условиях для случайных величин справедливо известное из математической статистики неравенство Буняковского — Шварца

которое переходит в равенство, если случайные величины связаны детерминированной зависимостью . С учетом (1.3.6) из выражения (1.3.5) можно получить

или

Для несмещенных оценок и оценок с постоянным смещением дисперсия оценки удовлетворяет неравенству Рао-Крамера

Необходимо отметить, что во всех соотношениях усреднение производится по многомерной выборке наблюдаемых данных X (при непрерывной обработке — по всевозможным реализациям а

произшодные берутся в точке истинного значения оцениваемого параметра.

Знак равенства в выражениях (1,3.7) и (1-3.8) достигается только для эффективных оценок.

Применительно к выражению (1.3.7) рассмотрим условия, при которых неравенство обращается в равенство, т. е. оценка параметра является эффективной смещенной оценкойю Согласно (1.3.6) для этого необходимо, чтобы коэффициент взаимной корреляции между был равен единице, т. е. чтобы эти случайные функции были связаны детерминированной линейной зависимостью.

Действительно, представим производную логарифма функции правдоподобия в виде

где функция, которая не зависит от оценки у и выборки наблюдаемых данных, но может зависеть от оцениваемого параметра При подстановке (1.3.5) и (1.3.9) в неравенство (1.3.7) оно переходит в равенство. Однако представление производной логарифма функции правдоподобия в виде (1.3.9) возможно, если для оценки у выполняется условие достаточности (1.2.9), из которого следует, что

и, следовательно, если производная логарифма отношения правдоподобия линейно зависит от достаточной оценки, то коэффициент пропорциональности не зависит от выборки

Таким образом, для существования смещенной эффективной оценки необходимо выполнение двух условий: оценка должна быть достаточной (1.2.9) и должно выполняться соотношение (1.3.9). Аналогичные ограничения налагаются на существование эффективных несмещенных оценок, при которых в выражении (1.3.8) знак неравенства переходит в равенство.

Полученное выше выражение для нижней границы дисперсии смещенной оценки справедливо и для нижней границы рассеяния смещенной оценки, так как т. е.

Последнее неравенство переходит в равенство, если кроме условия достаточности оценки справедливо соотношение

где имеет тот же смысл, что и в выражении (1.3.9).

Формула (1.3.10) выводится аналогично (1.3.7), если в исходном выражении (1.3.2) вместо рассматривать

Из характера условий (1.2.9) и (1.3.9) видно, что эффективные оценки существуют только в весьма специфических случаях. Также следует отметить, что эффективная оценка обязательно принадлежит к классу достаточных оценок, в то время как достаточная оценка не обязательно будет эффективной.

Анализ выражения для дисперсии эффективной смешенной оценки 1.3.7) показывает, что могут существовать смещенные оценки, которые обеспечивают меньшую дисперсию оценки, чем несмещенные. Для этого необходимо, чтобы производная от смещения имела отрицательное значение и по абсолютной величине в точке истинного значения параметра была близка к единице.

Поскольку в большинстве случаев интерес представляет средний квадрат результирующей ошибки оценки (рассеяние), имеет смысл говорить и о среднем квадрате ошибки оценки, который для любой оценки ограничен снизу:

При этом для эффективных оценок имеет место знак равенства.

Нетрудно показать, что соотношения (1.3.10) и (1.3.12) совпадают, если выполняются соответственно условия (1.3.11) и (1.3.9). Действительно, подставив в числитель и знаменатель (1.3.10) значения, выраженные через функции получим (1.3.12).

Используя рассмотренные выше свойства эффективных оценок уточним их определение. Будем называть оценку у эффективной, если для нее либо выполняются условия (1.2.9) и (1.3.11), либо при заданном смещении она обладает дисперсией

или рассеянием

либо при нулевом смещении эта оценка имеет дисперсию

Отметим, что характеристики эффективной оценки (1.3.13) — (1.3.15) могут быть вычислены и для тех параметров, для которых эффективной оценки не существует. В этом случае величины (1.3.13) -(1.3.15) определяют нижнюю границу (недостижимую) для соответствующих характеристик оценки.

Для сравнения реальных оценок с эффективными в математической статистике введено понятие относительной эффективности оценок, представляющее отношение среднего квадрата отклонения эффективной оценки относительно истинного значения параметра к среднему квадрату отклонения реальной оценки относительно истинного значения параметра:

Здесь у — реальная оценка, эффективность которой равна эффективная оценка.

Из определения дисперсии эффективной оценки (1.3.1) видно, что относительная эффективность оценки изменяется в пределах

Кроме понятия эффективных оценок существует понятие асимптотически эффективных оценок. При этом предполагается, что для достаточно большого времени наблюдения или неограниченного увеличения отношения сигнал/помеха предельное значение относительной эффективности реальной оценки равно единице. Это означает, что при асимптотически эффективной оценке дисперсия оценки для заданного смещения определяется выражением (1.3.13), а при отсутствии смещения — выражением (1.3.15).

В заключение этого параграфа приведем еще одну форму записи характеристик эффективной оценки, для чего рассмотрим вторую производную логарифма отношения правдоподобия

Усредняя равенство (1.3.18) по выборке наблюдаемых данных X при фиксированном значении параметра I, находим

во втором слагаемом правой части (1.3.19) перейдем от отношения правдоподобия к функции правдоподобия и запишем операцию усреднения по условной плотности вероятности в явном виде. Получим (в силу условия нормировки)

Обозначая через член логарифма отношения правдоподобия, зависящий от I, для дисперсии эффективной несмещенной оценки нмеем

а для эффективной оценки со смещением

Формулы (1.3.21) и (1.3.22) в ряде задач упрощают вычисление характеристик эффективной оценки.

Понятие и формулы для эффективной оценки одного параметра, обобщаются на совместную оценку нескольких неизвестных параметров 114]. Применительно к несмещенным совместно эффективным оценкам составляющих векторного параметра функция взаимной корреляции ошибок между оценками параметров равна

Здесь алгебраическое дополнение и определитель матрицы, составленной из элементов

Необходимые и достаточные условия существования совместно эффективной оценки векторного параметра аналогичны условиям существования эффективной оценки одного неизвестного параметра (1.2.9) и (1.3.9), в которых под I надо понимать векторный параметр 1.