3.3.2. НЕСМЕЩЕННЫЕ ОЦЕНКИ И НЕСМЕЩЕННЫЕ ОЦЕНКИ С МИНИМАЛЬНОЙ ДИСПЕРСИЕЙ

Принципы, обсуждавшиеся в разделе 3.3.1, дают нам представление о свойствах, которыми должна обладать хорошая оценка. Однако они не подсказывают способов найти такую оценку. Мы нуждаемся в сжатом описании требуемых свойств в форме конструктивных определений или, иначе, в общем методе, приводящем к оценкам с желательными свойствами. Такие методы изложены в разделе 3.5 и в гл. 6. В настоящем разделе мы ограничимся лишь приближением к «конструктивному определению».

Все требования, о которых говорилось в разделе 3.3.1, могут быть заменены требованием, чтобы «центр» выборочного распределения был близок к и чтобы «разброс» выборочного распределения был как можно меньше. В этой формулировке «центр» не определен: он в принципе может быть модой [см. II, раздел 10.1.3], медианой [см. II, раздел 10.3.3]

или ожидаемым значением [см. II, раздел 10.4.1]. По соображениям простоты обычно выбирают ожидаемое значение. И вновь требование близости выборочного математического ожидания к в недостаточно определенно. В конце концов потребуем совпадения в и математического ожидания в. Оценка в в таком случае называется несмещенной. Разброс выборочного распределения удобно измерять дисперсией. Итак, мы подошли к несмещенным оценкам с минимальной дисперсией.

Определение 3.3.2. Несмещенная оценка. Пусть — оценка в, основанная на данных, в которых — реализации случайной величины Она называется несмещенной оценкой , если при всех

Оценка, которая не является несмещенной, называется смещенной. Смещение определяется соотношением

Несмещенная оценка с минимальной дисперсией может подчиняться дополнительным требованиям к форме ее функциональной зависимости от (таким, как линейность и т. п.).

Из этого следует, что свойство несмещенности не принадлежит к важнейшим в первую очередь из-за неинвариантности при функциональных заменах (кроме линейных). Предположим, что мы интересуемся некоторым технологическим процессом и оцениваем вероятность того, что X не превышает заданной величины т. е. мы хотим оценивать значение , где — функция распределения X. Если в — несмещенная оценка , то в общем случае не будет несмещенной для . Для подобных приложений, следовательно, несмещенность является бесполезной.

С тем же сталкиваемся и в следующей ситуации. Если в испытаниях Бернулли с вероятностью успеха в зафиксировано успехов, то оценка — несмещенная для однако смещено относительно

Наконец, несмещенные оценки — не обязательно более точные, чем смещенные. Известный пример — несмещенная оценка дисперсии генеральной совокупности. Средняя квадратичная ошибка смещенной оценки меньше, чем

Почему же тогда несмещенность приобрела такое важное значение для статистических правил? Причины — в математических удобствах, в линейности и состоятельности: оператор математического ожидания имеет много свойств, облегчающих работу с ним; многие важные статистики являются линейными функциями наблюдений, а несмещенность инвариантна относительно линейных преобразований; независимые несмещенные оценки можно комбинировать и получать более точные несмещенные оценки.

Построение несмещенных оценок с минимальной дисперсией НОМД обычно связывают с понятием достаточности. Дополнительные сведения по этому поводу содержатся в разделе 3.4.

Следующие примеры относятся к минимизации дисперсии в определенных классах оценок (линейных, квадратичных и т. д.).

Пример 3.3.4. Линейная несмещенная оценка с минимальной дисперсией (ЛНОМД). Пусть — случайная выборка наблюдений за переменной X, для которой и Чтобы найти ЛНОМД для , составим линейную функцию от наблюдений, скажем

Выборочное математическое ожидание [см. раздел 2.3] равно

Чтобы оно в точности было равно , т. е. необходимо положить

Последний шаг состоит в выборе минимизирующем выборочную дисперсию Легко видеть, что при условии достигает своего минимального значения, когда (Минимизация обсуждается в [IV, раздел 15.1.3].) Итак, является ЛНОМД для . Общая теория ЛНОМД будет детально исследована при обсуждении метода наименьших квадратов в гл. 8, 10.

Пример 3.3.5. Квадратичная несмещенная оценка с минимальной дисперсией (КНОМД). Дисперсия случайной переменной X имеет размерность В соответствии с принципом правильной размерности [см. раздел 3.3.1, а)] мы требуем, чтобы оценка тоже имела размерность . Простейшая такая функция — квадратичная форма [см. I, гл. 9] от значений выборки скажем

где транспонирование и — симметрическая -матрица [см. I, раздел 6.2]. Согласно принципу заменяемости [см. раздел 3.3.1, б)] должна иметь вид

Выборочное математическое ожидание, следовательно, будет равно [см. II, раздел 9.2.1]:

По свойству несмещенности оно должно быть равно откуда (кроме тех случаев, когда в — заведомый нуль)

т. е.

Следовательно, определяются однозначно принципами заменяемости и несмещенности. В этом частном случае применение принципа заменяемости фактически эквивалентно минимизации выборочной дисперсии [см. теорему 3.3.1]. Из этого следует, что КНОМД есть

Преобразив это выражение, мы придем к уже известной нам оценке

Пример 3.3.6 (продолжение). В особо простом случае, когда принцип заменяемости применяется так же, а условие несмещенности становится проще: Мы, следовательно, получаем оценку

где пока не определено. Вычисления показывают, что выборочная дисперсия этой статистики равна Это выражение обращается в минимум при Таким образом, в данном случае КНОМД равна ее выборочная дисперсия —

Следующая теорема Халмоша связывает понятие несмещенной оценки с минимальной дисперсией и принцип заменяемости [см. раздел 3.2.1, б)].

Теорема 3.3.1. Симметричные оценки. Пусть — выборка взаимозаменяемых наблюдений X и — несмещенная оценка в параметра распределения X. Если — несимметрическая функция х, определим симметризацию как , где для каждого есть (вне зависимости от порядка нумерации) из перестановок [см. I, раздел 8.1] множества из элементов Мы примем за тождественную перестановку, т. е. Тогда несмещенная оценка , а выборочная дисперсия меньше, чем у статистики Если симметрическая функция, то совпадает с

Это означает, например, что среди всех линейных несмещенных оценок математического ожидания в среднее по выборке будет наилучшей, т. е. будут иметь наименьшую дисперсию. (Общий вид линейной

оценки с произвольными коэффициентами Выборочное математическое ожидание ее равно и для того, чтобы это выражение было равным 0, чего требует несмещенность, должно быть Следовательно, несмещенная линейная оценка 0 есть Ее симметризация имеет вид и согласно теореме Халмоша она имеет меньшую дисперсию, чем любая другая несмещенная линейная оценка пример