14.2. ОЦЕНИВАНИЕ В УСЛОВИЯХ ПАРАМЕТРИЧЕСКОЙ АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ

14.2.1. Постановка задачи и априорные данные.

Рассмотрим сначала задачу оценивания скалярного параметра. Имеется однородная независимая выборка принадлежащая распределению с плотностью , где — интервал на действительной оси (в дальнейшем без потери общности полагаем, что параметр может принимать любые действительные значения). Если параметр случайный то необходимо задать его плотность вероятности до , а также функцию потерь

В зависимости от полноты априорных данных используется один из критериев качества, указанных в § 12.3, для синтеза оптимального одношагового дискретно-аналогового алгоритма оценивания неизвестного параметра распределения, где Г — множество допустимых оценок. В качестве условий, ограничивающих множество Г, могут быть выдвинуты такие естественные требования, как состоятельность и несмещенность оценок [см. (12.35) и (14.1)]. Желаемым свойством оценки является также эффективность (см. п. 12.5.3), но регулярных методов синтеза эффективных оценок не существует. В некоторых случаях можно лишь проверить, является ли эффективной синтезированная по заданному критерию оптимальная оценка параметра (см. далее п. 14.2.3).

14.2.2. Достаточная оценка.

Оценка называется достаточной оценкой параметра если условная плотность не зависит от Из этого определения следует, что достаточная оценка содержит всю информацию о неизвестном параметре которую можно получить при наблюдениях . Иными словами, для оценки параметра необходимо знать не каждый элемент наблюдаемой выборки отдельно, а лишь одну функцию выборочных значений — достаточную оценку (достаточную статистику).

Приведенное определение не дает, однако, простого признака достаточной оценки, так как вычисление условной плотности может оказаться весьма трудоемким. Очень простым и удобным для практического использования является признак «факторизации функции правдоподобия выборки. Он состоит в возможности представления функции правдоподобия в виде произведения двух неотрицательных сомножителей

(14.27)

етервый из которых зависит от достаточной статистики и оцениваемого параметра Ф, а второй — не зависит от Возможность представления (14.27) является необходимым и достаточным условием того, что — достаточная оценка параметра Ф (доказательство см., например, в [43], § 12.2).

Пусть — какое-нибудь фиксированное значение Ф. Тогда отношение правдоподобия

(14.28)

шредставляет достаточную статистику, так как что соответствует признаку факторизации (14.27).

Заметим также, что если — достаточная оценка параметра , то достаточной оценкой будет

Если — достаточная оценка случайного параметра , то апостериорное распределение зависит не от самих выборочных значений, а только от Действительно, подставляя выражение для функции правдоподобия из (14.27) в формулу Байеса (12.16), получаем

(14.29)

т. е.

14.2.3. Неравенство Рао—Крамера.

Существует неравенство, с помощью которого можно определить нижнюю границу среднеквадратических ошибок при использовании любых оценок параметра. Предположим, что границы области действительной оси, где плотность распределения отлична от нуля, не зависят от . Это условие выполняется, например, если на всей действительной оси или для . Примером распределения, которое не удовлетворяет этому условию, является равномерное (см. задачу 14.1). Предположим, кроме того, что функция дифференцируема по параметру .

Введем новое обозначение.

(14.30)

чтобы подчеркнуть зависимость функции правдоподобия от неизвестного параметра Для независимой выборки

(14.31)

где

Пусть — некоторая оценка параметра . Среднее значение этой оценки

(14.32)

Предположим, что интеграл в (14.32) можно дифференцировать по параметру д. Тогда, используя предположение о независимости пределов интегрирования от О, получаем

(14.33)

Кроме того, из очевидного равенства дифферендированием по О находим

(14.34)

Умножая (14.34) на и вычитая из (14.33), получаем

(14.35)

Правая часть (14.35) представляет ковариацию двух случайных величин, имеющих нулевые средние. Как известно (см. п. 2.3.3), квадрат ковариадии не может превосходить произведения дисперсий сомножителей, т. е.

(14.36)

Неотрицательная величина

(14.37)

называется информацией по Фишеру о параметре , содержащейся в выборке

Если функция правдоподобия дифференцируема дважды по параметру , то нетрудно доказать, что

Для однородной независимой выборки

(14.39)

где

(14.39 а)

Для дискретного распределения

(14.39 б)

Из (14.36) находим искомую нижнюю границу дисперсии оценок (неравенство Рао — Крамера)

(14.40)

Заметим, что правая часть неравенства (14.40) является также нижней границей среднеквадратических отклонений оценок от оцениваемого параметра. Так как минимум величины достигается при , то

(14.40 а)

Для несмещенных оценок

(14.41)

В этом случае нижней границей дисперсии оценок является величина, обратная информации по Фишеру.

Величину принимают иногда за меру точности оценки. Правая часть неравенства (14.40) определяет потенциальную точность.

Обратим внимание на то, что для смещенной оценки ее точность определяется не дисперсией, а среднеквадратическим отклонением от оцениваемого параметра. Приведем тривиальный пример смещенной оценки с нулевой дисперсией. Пусть независимо от результатов наблюдений. Тогда . Но если только значение оцениваемого параметра не угадано или не было заранее известно, смещение будет велико. Нельзя, вообще говоря, сделать равными нулю и дисперсию, и смещение оценки. Поэтому нулевая дисперсия, которой соответствует исключается.

14.2.4. Эффективная оценка параметра.

В классе оценок с заданным смещением оценку с наименьшей среднеквадратической ошибкой называют эффективной. Для любой оценки указанного класса

(14.42 а)

В классе несмещенных оценок эффективной называют оценку с наименьшей дисперсией, т. е. удовлетворяющую неравенству

(14.42 б)

Часто эффективность определяют из условия достижения нижней границы в неравенстве Рао — Крамера. Для оценок с заданным смещением эффективная оценка удовлетворяет равенству

(14.43 а)

а для несмещенных оценок — равенству

(14.436)

В тех случаях, когда минимальная дисперсия оценок совпадает с нижней границей Рао — Крамера, оба приведенных определения (14.42) и (14.43) эффективности совпадают. Однако для некоторых распределений нижняя граница дисперсии оценок, указываемая неравенством Рао — Крамера, может оказаться слишком грубой, тогда второе определение эффективности дает не потенциальную реализуемую точность оценки, а меру жачества нижней границы в неравенстве (14.41). Если в данной задаче минимальная достижимая дисперсия несмещенной оценки не равна то следовало бы отказаться от второго определения эффективности оценки и принять первое. Все же для определенности можно условиться называть эффективными оценки, удовлетворяющие равенствам (14.43 а или б), а в тех случаях, когда эти оценки не существуют, рассматривать оценки с минимально возможной дисперсией (или среднеквадратической ошибкой для смещенных оценок), удовлетворяющие равенствам (14.42 а или б).

Из (14.40) учитывая (14.38), находим для однородной независимой выборки . Так как это неравенство имеет место для любых , то для состоятельных (и, следовательно, асимптотически несмещенных) оценок справедливо следующее предельное неравенство:

(14.44)

Оценки, для которых имеет место равенство (14.44), называют асимптотически эффективными.

14.2.5. Общая структура эффективных оценок.

Из (14.35) и (14.36) следует, что для эффективных оценок коэффициент корреляции случайных величин равен единице, т. е.

(14.45)

Подставляя (14.45) в (14.35), находим

Таким образом, эффективная оценка имеет следующую структуру:

(14.46)

Для несмещенных эффективных оценок

(14.47)

Заметим, что оценки вида (14.46) и (14.47) существуют не всегда, так как правые части их должны быть функцией только выборочных значений и не зависеть от О. Для этого функция правдоподобия должна принадлежать экспоненциальному семейству вида [см. (14.45)]

(14.48)

Из (14,48) следует, что эффективные оценки являются достаточными статистиками определенного вида. Но» конечно, не любые достаточные оценки параметра являются эффективными.

14.2.6. Интервальные оценки.

Под интервальной оценкой параметра понимают интервал, границы которого являются функциями выборочных значений (причем ) и который содержит с заданной вероятностью оцениваемый параметр. Аналитически это можно записать в виде

(14.49)

Вероятность у называется коэффициентом доверия, а оценки — соответственно нижним и верхним доверительными пределами. Интервал называется доверительным.

Длина доверительного интервала является случайной величиной. Однако иногда доверительный интервал целесообразно определить следующим образом:

где — точечная оценка параметра — положительные числа. Тогда длина доверительного интервала постоянна и равна .

Для заданного у величины можно найти бесконечным числом способов. Если — плотность распределения точечной оценки, то из

(14.50)

получаем два соотношения для определения

(14.50 а)

где — любые положительные числа, меньшие единицы, причем

При формула (14.50) определяет связь между коэффициентом доверия у» относительной длиной доверительного интервала и размером выборки

(14.51)

Если задана величина , то для состоятельных оценок коэффициент доверия будет возрастать по мере увеличения размера выборки, приближаясь к единице. При заданном размере выборки коэффициент доверия будет тем больше, чем больше . Иными словами, при заданном размере выборки невозможно повысить коэффициент доверия, не увеличивая относительной длины доверительного интервала.

Возможны три вида задач, использующих интервальные оценки параметра. Для выборки заданного размера строится точечная оценка находится ее распределение и для фиксированного из (14.51) определяется коэффициент доверия . При тех же условиях можно по заданному найти относительную длину доверительного интервала . Наконец, можно задать и коэффициент доверия , и относительную длину доверительного интервала . Тогда из (14.51) последовательными приближениями находят размер выборки, для которой можно достигнуть одновременно заданных у и е.

14.2.7. Оценивание векторного параметра.

Теория оценивания обобщается на случай, когда плотность вероятности выборочных значений зависит от неизвестного векторного параметра . По независимой выборке заданного размера из распределения с плотностью определяются статистик — функций выборочных значений (оценок).

(14.52)

Векторная оценка состоятельна», если состоятельны все ее компоненты, и несмещенная, если несмещены все ее компоненты.

Оценки — совместно достаточные, если функцию правдоподобия выборки

(14.53)

можно представить в виде произведения двух сомножителей

(14.54)

Пусть — несмещенные оценки параметров . Рассмотрим при заданном следующие средние по выборочному пространству:

(14.55)

Квадратная матрица размером элементы которой равны называется информационной матрицей Фишера. Как следует из (14.55), информационная матрица Фишера является корреляционной матрицей совокупности зависимых случайных величин

причем средние значения этих величин равны нулю [см. (14.34)].

Элементы информационной матрицы можно выразить через исходную плотность вероятности

(14.56)

Эта формула аналогична (14.39) и совпадает с ней при Так как

то

(14.57)

При m = 1 (14.57) совпадаете (14.38).

Если детерминант информационной матрицы отличен от нуля, то имеет место следующее обобщение неравенства Рао — Крамера [ср. с (14.41)].

При любом и при условии не вырожденности информационной матрицы имеет место неравенство

(14.58)

где — элементы матрицы обратной информационной матрице Фишера. В матричной форме формулу (14.58) можно записать в виде

(14.59)

где М — корреляционная матрица ошибок.

Из этого условия следует система неравенств

(14.60)

определяющих нижние границы дисперсий оценок

Система оценок, для которой в (14.58) достигается равенство, называется совместно эффективной. Если это равенство имеет место лишь при то оценки называют совместно асимптотически эффективными.

Если — смещенные оценки параметров причем то, вводя матрицу размером можно получить обобщенное неравенство — Крамера:

(14.61)

Структура эффективных оценок векторного параметра имеет вид [ср. с (14.46)]

(14.62)

где вектор-строка с компонентами -

— вектор-столбец с компонентами . Для несмещенных эффективных оценок [ср. с (14.47)]

(14.63)