4.2.3. Свойства оценок

В разд. 4.2.1 было показано, что лучшую оценку параметра можно выявить, сравнивая выборочные распределения различных оценок. Иногда невозможно вывести точное выборочное распределение, и в таких случаях необходимо прибегнуть к помощи приближенных методов для отбора оценок. Эти методы используют свойства, определяемые младшими моментами оценок. Важнейшими из этих свойств являются смещение, дисперсия и среднеквадратичная ошибка.

Смещение. Смещение оценки параметра определяется как

Если то плотность вероятности оценки имеет своим центром в точности истинное значение 0, и оценка называется несмещенной. Естественно выбирать оценку с малым или нулевым смещением, однако, как мы вскоре увидим, не всегда разумно настаивать на том, чтобы оценка была несмещенной.

Дисперсия. Дисперсия оценки

измеряет рассеяние плотности вероятности случайной величины 0 относительно ее математического ожидания, и, следовательно, вообще говоря, дисперсия должна быть небольшой. Однако требования малого смещения и малой дисперсии не обязательно совместимы, и часто уменьшение одной из этих величин влечет за собой увеличение другой. Рассмотрим, например, оценки

для дисперсии нормальной плотности вероятности. Так как является случайной величиной то, воспользовавшись (4.2.7) и (3.3.6), получаем, что смещение этой оценки равно

а из (3.3.6) получаем, что

Таким образом, несмещенная оценка для получается при и в этом случае

С другой стороны, дисперсию оценки (4.2.9) можно уменьшить, сделав большим. Однако увеличение приводит к увеличению смещения, которое стремится к когда Ясно, что необходимо найти компромисс между дисперсией и смещением.

Среднеквадратичная ошибка. Один из видов компромисса между дисперсией и смещением дает минимизация среднеквадратичной ошибки оценки, а именно

Для упомянутого выше примера среднеквадратичная ошибка равна

Это выражение достигает минимального значения при по сравнению со среднеквадратичной ошибкой для несмещенной оценки.

В некоторых случаях среднеквадратичная ошибка достигает минимума при нулевом смещении, т. е. одновременно с дисперсией. Такие оценки называются несмещенными оценками с минимальной дисперсией.

Одна из трудностей, связанных с использованием критерия среднеквадратичной ошибки, состоит в том, что он дает нам возможность лишь сравнить данные классы оценок, но он не говорит нам, как следует выбирать эти оценки. Впрочем, один класс оценок, удовлетворяющих свойству минимальности среднеквадратичной ошибки для больших выборок, можно найти из функции

правдоподобия, введенной Фишером. Эти оценки обсуждаются в разд. 4.2. Они сыграли важную роль в статистическом оценивании, так как становятся несмещенными для выборок большого объема и имеют также минимальную дисперсию среди всех возможных, оценок. Следовательно, для выборок большого объема оценки максимального правдоподобия являются оценками с минимальной среднеквадратичной ошибкой.

Состоятельность. Другим свойством оценок, опирающимся на выборочное распределение, является состоятельность. Предположим, что смещение и дисперсия оценки стремятся к нулю, когда объем выборки становится большим. Это означает, что выборочное распределение концентрируется вокруг и точность оценки безгранично возрастает. Оценка, обладающая этим свойством, называется состоятельной оценкой.

Например, если выборочное распределение стремится к нормальному, что обычно справедливо при довольно общих условиях, то оно будет для больших близким к

Когда стремится к бесконечности, эта функция ведет себя подобно -функции, сосредоточенной в .