3.3. НЕКОТОРЫЕ ОБЩИЕ КОНЦЕПЦИИ И КРИТЕРИИ ОЦЕНОК

3.3.1. ВВЕДЕНИЕ. РАЗМЕРНОСТЬ, ЗАМЕНЯЕМОСТЬ, СОСТОЯТЕЛЬНОСТЬ, КОНЦЕНТРАЦИЯ

Раздел 3.2 начинался рассуждением по поводу основополагающего представления о том, что выборка подобна множеству, из которого она выбрана (генеральной совокупности). В этом разделе мы продолжим обсуждение ряда принципов, подсказанных интуицией, на этот раз тех, с помощью которых формируется отношение к статистикам, претендующим на роль оценок параметров данного распределения вероятностей.

а) Размерность. Первый из этих принципов может быть назван принципом правильной размерности. Он состоит в том, что когда не является безразмерной величиной, но обладает физической размерностью, такой, как время или длина, оценка должна иметь ту же физическую размерность, что и . Предположим, мы утверждаем, что последовательные моменты испускания частиц из радиоактивного источника образуют пуассоновский процесс с интенсивностью [см. II, разделы 5.4, 11.2, 20.1]. Следовательно, последовательные промежутки между событиями распределены экспоненциально [см. II, раздел 11.2] с плотностью распределения в точке Для заданной выборки таких интервалов статистика призванная оценивать , должна иметь ту же физическую размерность, что и , т. е. (время). Такой оценкой, например, будет — величина, обратная к среднему выборки. Среднее выборки как возможная оценка в соответствии с этим критерием исключается из рассмотрения.

Когда размерность оценки не вытекает из определения очевидным образом, полезно проверить ее математическое ожидание.

Пример 3.3.0. Отрицательное биномиальное распределение. Если — число испытаний Бернулли с параметром требуемых для получения фиксированного числа успехов х, то

где х — положительное целое и [см. II, раздел 5.2.4]. Спросим себя: будет ли возможной оценкой для ? Оказывается, что имеет нужную размерность. Проще вычислить чем Находим, что

Отсюда видно, что имеет правильную размерность и что несмещенная оценка [см. раздел 3.3.2].

б) Заменяемость. Второй принцип — принцип заменяемости — состоит в следующем. Если оценка базируется на случайной выборке равноточных наблюдений заданной случайной величины X, то порядок, в котором идут наблюдения, несуществен; оценка должна быть симметрической функцией наблюдений [см. I; раздел 14.16]. Примером могут служить широко известные статистики

в) Состоятельность. Важным принципом является состоятельность. Это попытка формализовать идею о том, что оценка параметра в должна быть, в каком-то смысле, ближе к , чем, скажем, к или к какому-нибудь другому параметру Эту идею легче высказать, чем формализовать. Р. Фишер, первый высказавший эту мысль, предложил следующую формализацию. Предположим, что выборочные данные собраны в частотную таблицу. Понятно, что случайно можно получить выборку, которая будет точной копией генеральной совокупности в том смысле, что частоты в выборке точно пропорциональны соответствующим вероятностям в совокупности. В такой выборке значение оценки должно в точности совпадать с оцениваемым параметром. Следовательно, если оценка обозначена через то принцип состоятельности требует, чтобы

Здесь обозначает объем выборки.

Пример 3.3.1. Состоятельность оценки параметра геометрического распределения. Рассмотрим случай, когда — параметр геометрически расположенной переменной с распределением вероятностей

[см. II, раздел 5.2.3]. Основываясь на выборке, в которой наблюдаемые значения встречаются с частотами получим оценку максимального правдоподобия [см. раздел 3.5.4]:

В нашем случае для следовательно,

Требование состоятельности в данной ситуации —

Поскольку условие выполняется и — состоятельная оценка по Р. Фишеру.

Эта привлекательная концепция, к несчастью, теряет изрядную долю своей простоты, когда мы пытаемся применить ее к непрерывным распределениям. Возможно, поэтому она не стала частью принятого канона. Вместо нее чаще всего используется близкий, но отличающийся критерий, также называемый состоятельностью, что создает некоторую двусмысленность.

Определение 3.3.1. Состоятельность оценки. Сходимость по вероятности. Оценка основанная на выборке из наблюдений случайной величины X, рассматривается как элемент последовательности в которой явная форма как функции точно установлена для каждого значения Соответственно мы рассматриваем последовательность случайных переменных где — независимые реализации X [см. определение 2.2.1]. называют состоятельной оценкой в, если при сходится по вероятности к , т. е. если для всех сколь угодно малых

при [см. IV, раздел 1.2]. Удобное и достаточное условие для этой сходимости состоит в тем, что

при

Согласно этому определению состоятельная оценка имеет высокую вероятность быть почти равной параметру, который она оценивает, при условии, что выборка будет достаточно большой.

Пример 3.3.2. Состоятельность оценки дисперсии. Оценка дисперсии нормального распределения, заданная (2.5.20), где обычно обозначаемая символом имеет выборочное математическое ожидание и выборочную дисперсию которая сходится к . Следовательно, — состоятельная оценка для (в смысле сходимости по вероятности).

Обсуждаемый принцип состоятельности основан на той мысли, что при достаточно больших объемах выборок выборочное распределение оценки должно иметь унимодальную плотность распределения вероятности [см. II, раздел 10.1.3] с высоким и, по возможности, узким пиком, максимум которого находится около в [см. рис. 3.3.1]. Если возрастает, пик становится выше и уже, его максимум приближается к . Недостаток принципа состоятельности, описанного в разделе 3.3.1, заключается в том, что на практике обычно интересуются выборочным распределением оценки, основанной на выборке небольшого объема, и нет гарантий, что оценка, состоятельная в

Рис. 3.3.1. Выборочная плотность приемлемой оценки

описанном выше смысле, при небольших будет иметь плотность вероятности, как на рис. 3.3.1. Для подобных выборок принцип состоятельности нуждается в дополнении. Таким дополнением может быть принцип высокой локальной вероятности.

г) Концентрация (высокая локальная вероятность). Оценка в для в должна с высокой вероятностью быть близкой к в. Вероятность больших отличий от в должна быть малой. Поясним этот принцип.

Пример 3.3.3. Выборочное распределение в нормальной выборке. В случае нормального распределения с параметрами [см. II, раздел 11.4.3] рассмотрим статистики

как оценки для соответственно. Они имеют следующие выборочные распределения [см. раздел 2.2]. Для выборочное распределение т. е. унимодальное, к тому же с модой Мода определяет местоположение максимума, ширина которого (она измеряется выборочным стандартным отклонением) пропорциональна Таким образом, чем больше тем уже пик.

В случае выборочное распределение является распределением хи-квадрат с степенями свободы [см. раздел 2.5.4, а)]; п.р.в. в точке задается формулой

[см. (2.5.21)]. Это унимодальное распределение с модой около желаемого значения Ширина пика, измеряемая стандартным выборочным отклонением и равная уменьшается при возрастании [см. (2.5.22)].

Обе оценки удовлетворяют интуитивному требованию высокой локальной вероятности. Они и в самом деле принимаются как «лучшие» оценки для

Требование концентрации оценки для в в окрестности в в смысле, подразумеваемом в начале раздела 3.3.1, г), вытекает из (обычно нереализуемой) концепции максимальной концентрации [см. раздел (3.1)]. Некоторых продвижений в реализации принципа максимальной концентрации можно ожидать при применении критерия минимальности среднего квадрата ошибки, который мы сейчас введем. Говорят, что оценка Т параметра в имеет минимальный средний квадрат ошибки, если для любой другой оценки Т для всех в выполняется соотношение

К сожалению, не всегда существует оценка, имеющая минимальный средний квадрат ошибки. Интуитивно ясно, что одна оценка лучше другой, если она имеет меньший средний квадрат ошибки.

Если мы ограничимся несмещенными оценками (оценка Т параметра в называется несмещенной, если для всех в), то средний квадрат ошибки превратится в дисперсию. Несмещенные оценки с минимальной дисперсией встречаются часто, и некоторые их свойства обсуждаются в разделе 3.2.2. Связанная с этим концепция эффективности рассматривается в разделе 3.3.3.

Осталось упомянуть еще один важный принцип. Некоторые статистики способны извлекать из данных больше информации, чем другие. Это приводит к принципу достаточности. Достаточной оценкой в называется статистика, в определенном смысле собирающая всю информацию с , которая содержится в выборке. Подробнее эта идея обсуждается в разделе 3.4.