3.2. Свойства выборочного распределения

Естественно, что желательно иметь такую оценку, чтобы ее выборочное распределение концентрировалось вблизи истинных значений параметров. Формально мы определяем следующие свойства оценок.

(а) Смещение оценки есть разность между математическим ожиданием оценки и истинным значением параметра, т. е. Оценка будет несмещенной, если смещение отсутствует, т. е. если . В примере предыдущего параграфа оценка была несмещенной. Естественно, что предпочтительны оценки с малым (по абсолютной величине) смещением, но добиться полного отсутствия смещения в большинстве случаев невозможно. Однако несмещенность — не единственное важное свойство оценки, ибо не только смещение является ошибкой любой заданной оценки. Более того, если оценка некоторого параметра является несмещенной, то оценка нетривиальной функции от вообще говоря, будет смещенной. Так, например, если даже не обязательно, скажем, . Таким образом, на наличие или отсутствие смещения в оценке можно воздействовать с помощью параметризации.

(б) в то время как смещение является мерой «систематической» ошибки оценки, дисперсия отражает ее случайную ошибку. Теорема Рао-Крамера (см. приложение В) устанавливает теоретическую нижнюю границу для ковариационной матрицы оценок.

Из видно, что есть функция Если она дифференцируема, можно составить матрицу

Определим также матрицу как

Теорема утверждает, что матрица — положительно полуопределена и что она будет нулевой, если и только если существует матрица А (элементы которой могут быть функциями такая, что

Доказательство приведено в приложении В. Матрица называется минимальной дисперсионной матричной границей (МДМГ),

Так как диагональные элементы положительно-полуопределенной матрицы должны быть неотрицательными, для дисперсии каждого имеем

знак равенства имеет место лишь при соблюдении равенства

Оценка называется эффективной, если ее дисперсия принимает наименьшее теоретически возможное значение, т. е. когда

Если оценка не смещена, следовательно, Тогда теорема Рао-Крамера сводится к утверждению, что матрица положительно полуопределена, и эффективная несмещенная оценка имеет ковариационную матрицу

В примере раздела 3.1 мы имели несмещенную оценку единственного параметра Его дисперсия равна Функция правдоподобия такова:

отсюда

а

Теперь положим, что переменные независимы со средними 0 и одинаковыми дисперсиями Тогда

и

В этом случае, следовательно, и оценка эффективна. Это можно получить и из которое дает

так что равенство выполняется при

Так же, как и несмещенность, эффективность оценок может достигаться лишь для малого класса относительно простых моделей. Следует указать, что в некоторых случаях, хотя и существует эффективной оценки, но среди тех оценок, которые существуют, или же среди оценок определенного класса может найтись оценка с наименьшей дисперсией. Например, если все ошибки в линейной модели имеют одинаковые и независимые друг от друга распределения, то оценки наименьших квадратов имеют наименьшую дисперсию в классе линейных несмещенных оценок. Однако они не обязательно эффективны.

(в) В то время как несмещенные и эффективные оценки, вообще говоря, невозможно найти по выборкам конечного объема, ситуация резко меняется, когда число экспериментов безгранично растет. При этом условии получаемые значения многих оценок с вероятностью единица стремятся к истинным значениям параметров. Такие оценки назовем состоятельными, или асимптотически несмещенными. Дисперсии большинства оценок, с которыми нам придется иметь дело, стремятся к нулю, как при увеличении Следовательно, если оценка состоятельна Для то будет состоятельной и оценка любой гладкой функции от Следовательно, состоятельность более существенное свойство, чем несмещенность.

(г) Как так и стремятся к нулевым матрицам при стремящемся к бесконечности, для большинства оценок. Итак, мы назовем

состоятельную оценку асимптотически эффективной, если с вероятностью единица

(д) Наш разговор о критериях оценивания был бы неполным без упоминания о достаточных статистиках. Статистикой выборки называют любую функцию, рассчитанную по значениям элементов выборки с целью извлечения из нее необходимой информации:

В частности, любая оценка это статистика, определяемая уравнением Статистика называется достаточной для параметров если величина содержит в себе столько же информации о сколько ее в исходной выборке Другими словами, можно рассчитать значение по выборке, а затем изъять матрицу данных без потери информации, касающейся оценки Это утверждение следует интерпретировать так: выборка может содержать информацию о величине только если распределение этой выборки есть функция Тогда сказать, что есть достаточная статистика для означает, что, коль скоро величина определена, распределение выборки может быть выражено лишь через без какой-либо дополнительной зависимости от Поэтому должна существовать функция такая, что

Но из определения условной вероятности имеем

Полагая, что (это выборочное распределение статистики ), мы придем к теореме факторизации для достаточных статистик

Логарифмируя и дифференцируя обе части но получаем

Для примера раздела 3.1 имеем

что представляет собой (3.2-17) Таким образом, сумма наблюдений есть достаточная статистика в этом случае.

Оценка, являющаяся функцией достаточной статистики, есть достаточная оценка. В нашем примере следовательно, есть достаточная оценка .

Полагая, что есть достаточная оценка из получаем

Сравнение уравнений показывает, что достаточна. Итак, мы доказали, что, если существует эффективная оценка, она должна быть также достаточной. И обратно, если существует достаточная оценка, некоторая функция от нее есть эффективная оценка определенной функции параметров.

(е) Значение оценки обычно зависит от предполагаемого нами вида распределения вероятностей. Мы редко знаем закон распределения, и обычно нам приходится довольствоваться, некоторой весьма грубой его аппроксимацией. Поэтому желательно, чтобы наша оценка была робастной, т.е. чтобы она слабо менялась при незначительных изменениях вида предполагаемого распределения.

(ж) Выбор параметров модели часто бывает произвольным. Мы можем заменить первоначальные параметры фдругим набором параметров которые представляют собой однозначные функции например где вектор-функция. Желательно, чтобы наши оценки были инвариантны к репараметризации. Это означает, что если и есть оценки параметров для модели, выраженной через соответственно, то мы хотели бы, чтобы

Малое распространение будет иметь процедура оценивания, которая не может быть реализована на доступных исследователю компьютерах. С практической точки зрения более предпочтительна оценка, которую легко вычислить, по сравнению с оценкой, более эффективной статистически, но требующей выполнения чрезмерно трудоемких вычислений. Другими словами, сторонник теории статистических решений должен сконструировать такую функцию стоимости, которая зависит не только от ошибки оценки, но и от стоимости ее вычисления.

и) Линейная оценка — это оценка, являющаяся линейной функцией данных, т. е. есть линейная оценка, если существует матрица А (которая может быть функцией такая, что

Хорошие линейные оценки, позволяющие описывать широкий диапазон изменения данных, можно найти лишь в случае, когда сама модель линейна по параметрам.

Среди перечисленных выше свойств наиболее важными в практическом отношении являются малое смещение, малая дисперсия, робастность и малый объем необходимых вычислений.

Мерой точности оценки и близости ее к истинному значению служит среднеквадратическая ошибка по отношению к истинному, а не

среднему значению. Легко проверить, что

где b - смещение оценки. Среднеквадратическая ошибка оценки параметра выражается поэтому через где — стандартное отклонение оценки Отсюда вытекает то, что мы мало выиграем, если сделаем сильно смещенную оценку (большое ) очень эффективной (малое или, наоборот, устраним смещение у неэффективной оценки

В идеале мы бы получить формулы для оценок, которые имели бы все желательные нам свойства. Это, к сожалению, невозможно, за исключением самых простых случаев, таких, как, например, случай линейной модели (см. приложение Д). Лучшее, что можно сделать на практике, — это предложить разумные функции оценивания, а затем проверить свойства получаемых с их помощью оценок, как это и делается в следующем разделе.