§ 11. Задача оценивания параметров плотности

Итак, казалось бы, нам удалось достичь своей цели — построить байесову оценку плотности, вычислить наилучшую несмещенную оценку. Однако методы, с помощью которых были получены эти оценки, существенно используют особые свойства восстанавливаемой плотности. Поэтому рассмотренные методы не являются регулярными для восстановления плотностей различных типов.

Вот почему представляют интерес методы, которые быть может не позволяют получать столь точные приближения, как рассмотренные, но зато являются регулярными, т. е. могут быть применены для восстановления плотностей из различных параметрических классов.

Чтобы получить такие методы, подменим задачу. Будем считать, что нашей целью является не восстановление плотности, а оценка параметров плотности,

При этом мы полагаем, что если удастся решить промежуточную задачу — найти хорошие оценки параметров плотности, то мы сможем удовлетворительно восстановить и саму плотность, приняв в качестве приближения плотности функцию , где а — значения восстановленных параметров.

Заметим, что при восстановлении нормального закона ни байесово приближение, ни несмещенная оценка плотности не принадлежали классу нормальных законов. В случае же восстановления плотности путем оценивания ее параметров полученное приближение будет принадлежать классу нормальных. (Сам по себе этот факт не имеет никакого значения. Он лишь косвенно указывает, насколько далеким может оказаться полученное решение, например, от байесова.)

Итак, будем оценивать параметры плотности Определим качество оценки вектора параметров по выборке величиной

качество оценки вектора параметров на выборках длины математическим ожиданием величины т. е.

где плотность распределения вероятностей выборки

Наконец, качество оценки, предназначенной для восстановления параметра а при априорном распределении величиной

Оценка а, доставляющая минимум функционалу (3.49), называется байесовой оценкой параметров.

Так же как и при восстановлении плотности, априорное распределение параметров а обычно неизвестно, поэтому, как и раньше, имеет смысл минимаксный критерий

Вектор а, доставляющий минимум образует минимаксную оценку параметров. Однако построение регулярного способа оценки параметров плотности связано не с байесовым и не с минимаксным приближением, а с идеей наилучшего несмещенного оценивания.

Определение. Будем говорить, что оценка является несмещенной оценкой вектора параметров если

Рассмотрим сначала случай, когда плотность распределения вероятностей зависит лишь от скалярного параметра Тогда для класса несмещенных оценок справедливо замечательное неравенство Крамера:

где

Величина получила название информационного количества Фишера. Для независимой выборки она равна

Вывод неравенства Крамера есть во всех современных учебниках по статистике [35, 49, 58].

Смысл этого неравенства заключается в том, что дисперсия несмещенной оценки параметра (а для несмещенных оценок величина дисперсии определяет точность оценивания) не может быть меньше обратной величины информационного количества Фишера.

Таким образом, правая часть неравенства (3.50) определяет предельную точность несмещенного оценивания параметра. Оценка, при которой неравенство (3.50) переходит в равенство, называется эффективной. Проблема состоит в том, чтобы найти регулярный способ

построения эффективных оценок параметров для различных параметрических классов плотностей.

Неравенство, аналогичное (3.50), может быть получено и для одновременного несмещенного оценивания нескольких параметров. В этом случае аналогом информационного количества служит информационная матрица Фишера элементы которой есть величины

Для независимой выборки элементы равны

Пусть информационная матрица Фишера I не особенная, и пусть несмещенными оценками параметров будут оценки Рассмотрим для этих оценок ковариационную матрицу В, т. е. матрицу с элементами

Тогда аналогом неравенства Рао—Крамера в многомерном случае будет утверждение: для любого вектора и любых несмещенных оценок справедливо неравенство

Смысл этого неравенства заключается в следующем: пусть качество совместной оценки параметров определяется квадратом взвешенной (с весами суммы уклонений по всем оцениваемым параметрам:

Тогда математическое ожидание Т ограничено снизу величиной Иначе говоря, в каком бы смысле (при каких конкретных весах не измерялось качество

совместного несмещенного оценивания параметров, имеет место оценка

В частности, из неравенства (3.51) следует, что дисперсия оценки по каждому параметру в отдельности удовлетворяет неравенству (3.50). Действительно, неравенство (3.50) получается из (3.51) при конкретном векторе Методы оценивания, для которых при всех неравенство (3.51) переходит в равенство, называются совместно эффективными.

При несмещенном оценивании нескольких параметров наша цель состоит в получении совместно эффективных оценок.