9.4. Эффективные оценки. Неравенство Рао — Крамера

При изучении свойств оценок и методов их определения будем использовать функцию плотности вероятностей случайной выборки объема К для -мерного случайного процесса , зависящего от -мерного вектора неизвестных параметров . В соответствии с (9.13) эту случайную выборку обозначим через а ее функцию плотности вероятностей через Выясним, что представляют собой случайные выборки и их функции плотности вероятностей, соответствующие рассмотренным вариантам данных наблюдений.

Пусть — -мерная функция плотности вероятностей случайного процесса

где Будем предполагать существование и ограниченность частной производной

Рассмотрим множество реализаций изучаемого случайного процесса, определенных в (9.2), (9.1):

Вследствие независимости этих реализаций данным наблюдений соответствует случайная выборка объема блок которой

представляет собой случайный вектор размерности с функцией плотности вероятностей При этом — независимые -мерные случайные процессы, имеющие те же конечномерные законы распределения, что и исходный случайный процесс. Поэтому функция плотности вероятностей рассматриваемой случайной выборки объема m имеет вид

Если данные наблюдений представляют собой множество определяемое согласно (9.3):

то и в силу независимости значений случайного процесса в этом множестве ему соответствует случайная выборка объема N с функцией плотности вероятностей

Для множества независимых значений определяемого равенствами (9.4):

функция плотности вероятностей соответствующей случайной выборки объема

имеет вид

Пусть теперь — оценка вектора неизвестных параметров полученная на основе случайной выборки объема К для -мерного случайного процесса зависящего от -мерного вектора . Обозначим через смещение оценки

где в правой части равенства находится -кратный интеграл, а область интегрирования имеет вид

Смещение оценки зависит от вектора параметров , поскольку оценка определена по данным случайной выборки с функцией плотности вероятностей

Известно, что неравенство

называемое неравенством Рао — Крамера, определяет нижнюю границу для дисперсии оценок вектора параметров. Это матричное неравенство понимают как поэлементное неравенство.

Здесь — производная смещения оценки по вектору параметров — единичная матрица; — информационная матрица Фишера:

— случайная выборка объема К для -мерного случайного процесса , зависящего от -мерного вектора

Случайная выборка определена равенством (9.13) и имеет функцию плотности вероятностей Согласно (9.14)-(9.18), информационная матрица Фишера определена для любого .

Если неравенство Рао — Крамера переходит в равенство, то оценка является эффективной оценкой вектора параметров

Для уяснения смысла неравенства Рао — Крамера ограничимся анализом скалярного случая, когда а неравенство (9.20) имеет вид

где

Величина служит мерой информации, содержащейся в случайной выборке, и ее называют количеством информации по Фишеру. Согласно неравенству (9.22), чем больше тем меньше дисперсия. Вопрос лишь в том, удается ли использовать эту информацию полностью, чтобы получить оценку с минимально возможной дисперсией.

Определим количество информация по Фишеру, содержащееся в случайной выборке, соответствующей множеству , для чего воспользуемся равенством (9.16):

Учитывая независимость реализаций и (9.23), находим

Так как количество информации по Фишеру, содержащееся в выборочной реализации, равно

то общее количество информации, содержащееся в случайной выборке, соответствующей множеству равно

В частности, если то

Таким образом, учитывая (9.22)-(9.26), заключаем, что для случайной выборки, соответствующей данным наблюдений, представленным множеством неравенство Рао — Крамера имеет вид

В частности, при имеем

где — смещение оценки определенное в (9.19), и

Для случайной выборки, соответствующей данным наблюдений, представленным множеством с учетом (9.17) получаем аналогичное соотношение:

Таким образом, если

то количество информации в момент времени равно

В соответствии с (9.22), (9.23), (9.27), (9.28) имеем

Полученные неравенства наглядно показывают, что с увеличением объема выборки теоретически можно строить оценки неизвестного параметра со сколь угодно малой дисперсией.

При этом, однако, следует учитывать, что мы имеем дело не с выборочными значениями случайной величины, а с выборочными реализациями случайного процесса. Специфическая особенность последних состоит в том, что задача оценивания параметров случайного процесса требует исследования единственности ее решения.