8.6. Методы статистического оценивания неизвестных параметров

В предыдущем параграфе рассмотрены различные варианты использования функций от исходных наблюдений в качестве оценок неизвестных параметров, анализировались их свойства. Однако пока не ясно, каким способом устанавливаются именно те комбинации результатов наблюдений (статистики), с помощью которых производится (да еще наилучшим в определенном смысле образом!) оценивание того или иного параметра. Каким образом, например, было установлено, что именно комбинации (см. (8.3), (8.4)) лучше всего использовать в качестве оценок неизвестных параметров соответственно среднего значения ? и дисперсии нормальной генеральной совокупности? И как конкретно строить

описанные выше доверительные интервалы и области для неизвестных значений параметров?

Описанию основных приемов, позволяющих получать ответы на данные вопросы, и посвящен настоящий параграф.

8.6.1. Метод максимального (наибольшего) правдоподобия.

В соответствии с этим методом оценка неизвестного параметра по наблюдениям случайной величины (подчиненной закону распределения , где — плотность или вероятность определяется из условия

где L — функция правдоподобия, определенная соотношением (8.5).

Таким образом, в формальной записи оценка максимального правдоподобия параметра по независимым наблюдениям может быть представлена в виде

Естественность подобного подхода к определению статистических оценок вытекает из смысла функции правдоподобия. Действительно, по определению (см. § 8.2), функция при каждом фиксированном значении параметра является мерой правдоподобности получения системы наблюдений, равных Поэтому, изменяя значения параметра при данных конкретных (имеющихся у нас) величинах мы можем проследить, при каких значениях эти наблюдения являются более правдоподобными у а при каких — менее и выбрать в конечном счете такое значение параметра при котором имеющаяся у нас система наблюдений выглядит наиболее правдоподобной (очевидно, что это значение определяется конкретными величинами наблюдений , т. е. является некоторой функцией от них). Так, например, пусть — заработная плата работников, подчиненная логарифмически-нормальному распределению (см. п. 6.1.6). И пусть с целью приближенной оценки средней величины логарифма заработной платы работников мы зафиксировали значения заработной

платы у трех случайно отобранных из интересующей нас совокупности работников. Тогда, расположив на оси возможных значений нормально распределенной случайной величины мы будем стараться подобрать такое значение параметра а в -нормальном распределении, при котором наши наблюдения выглядели бы наиболее правдоподобными, а именно при котором произведение трех ординат плотности вычисленных в точках соответственно достигало бы своего максимального значения.

Рис. 8.2. Графики нормальной функции плотности при двух значениях параметра а

На рис. 8.2 изображены графики функции плотности при значении параметра соответствующем наибольшей правдоподобности наблюдений (сплошная кривая), и при значении параметра при котором наши наблюдения выглядят явно неправдоподобными — пунктирная кривая (значение дисперсии определено в обоих случаях с помощью подправленной на несмещенность оценки максимального правдоподобия и равно 0,0064).

Отмеченная естественность подхода, исходящего из максимальной правдоподобности имеющихся наблюдений, подкрепляется хорошими свойствами оценок, получаемых с его помощью. Можно показать, в частности, что при достаточно широких условиях регулярности, накладываемых на изучаемый закон распределения (см., например, 171, с. 314-317]), оценки максимального правдоподобия

параметра являются состоятельными, асимптотически-несмещенными, асимптотически-нормальными и асимптотически-эффективными (т. е. их ковариационная матрица ) асимптотически имеет вид где информационная матрица Фишера, определенная соотношениями (8.7) применительно к единственному наблюдению, т. е. при

Однако из этого не следует, что оценки максимального правдоподобия будут наилучшими во всех сйтуациях. Во-первых, их хорошие свойства проявляются часто лишь при очень больших объемах выборок (т. е. являются асимптотическими, см. § 8.4), так что при малых с ними могут конкурировать (и даже превосходить их) другие оценки, например оценки метода моментов, метода наименьших квадратов и т. д. (см., ниже, п. 8.6.2-8.6.5). Во-вторых, и это, пожалуй, главное «узкое место» данного подхода, для построения оценок максимального правдоподобия и обеспечения их хороших свойств необходимо точное знание типа анализируемого закона распределения что в большинстве случаев оказывается практически нереальным. В подобных ситуациях бывает выгоднее искать не оценку, являющуюся наилучшей в рамках данного конкретного общего вида (но, как часто бывает, резко теряющую свои хорошие свойства при отклонениях реального распределения от типа ), а оценку, хотя и не наилучшую в рамках совокупности но обладающую достаточно устойчивыми свойствами в более широком классе распределений, включающем в себя в качестве частного случая (см. ниже, п. 8.6.4). Подобные оценки принято называть устойчивыми или робастными (английский термин robust estimation означает грубое, или устойчивое, оценивание). И наконец, оценки максимального правдоподобия могут не быть даже состоятельными, если число k оцениваемых по выборке параметров велико (имеет тот же порядок, что и объем выборки ) и растет вместе с увеличением числа наблюдений. Ниже приведен пример подобной ситуации (см. пример 8.7).

Попытаемся ответить на вопрос, как конкретно находятся оценки максимального правдоподобия, т. е. как проводится решение оптимизационной задачи типа (8.19).

Если функция удовлетворяет определенным условиям регулярности (дифференцируемость по и т. п., см. условия а)-в) § 8.3) и экстремум в (8.19) достигается

во внутренней точке области допустимых значений неизвестного параметра то в точке должны обращаться в нуль частные производные функции а следовательно, к логарифмической функции правдоподобия

в силу монотонного характера этой зависимости: последняя удобнее для вычислений. Значит, в данном случае оценка максимального правдоподобия должна удовлетворять уравнениям:

и может определяться в качестве решения этой системы уравнений.

Однако могут быть ситуации (случай нерегулярных по 0 законов распределения), когда система (8.21) не определена или не имеет решений, в то время как решение (8.19) существует. В подобных ситуациях оценку следует искать другими способами, в том числе с помощью непосредственного подбора решения (8.19) (см. ниже примеры 8.5 и 8.6).

Пример 8.3. Исследуемая случайная величина имеет нормальную плотность вероятности

с неизвестным средним значением и неизвестной дисперсией

В соответствии с (8.5) функция правдоподобия в этом случае будет

Соответствующая логарифмическая функция правдоподобия

Дифференцируя по и последовательно приравнивая соответствующие частные производные к нулю, получаем конкретный вид системы (8.21):

Решение этой системы относительно а и дает оценки максимального правдоподобия этих параметров:

Выше (см. § 8.3) установлено, что оценка является эффективной оценкой параметра а (так как ее эффективность а оценка — асимптотически-эффекгивной оценкой параметра (так как ее эффективность )

Пример 8.4. Исследуемая случайная величина подчинена закону распределения Пуассона, т. е.

с неизвестным значением параметра К.

В соответствии с (8.20) логарифмическая функция правдоподобия, построенная по выборке имеет вид

Отсюда после дифференцирования по X получаем уравнение метода максимального правдоподобия

откуда

Легко видеть, что эта оценка несмещенная, так как

Вычислим эффективность оценки Нижняя граница дисперсии по всем возможным оценкам параметра X может быть вычислена в соответствии с неравенством информации (8.12):

Дисперсию оценки вычислим, опираясь на следующий известный факт (см., например, [48, с. 229]): сумма независимых случайных величин подчиняющихся распределению Пуассона со средними значениями соответственно ХПУ имеет распределение Пуассона со средним значением, равным Поэтому дисперсия

Сравнивая с убеждаемся, что оценка максимального правдоподобия среднего значения пуассоновской случайной величины является эффективной.

Пример 8.5. Исследуемая случайная величина распределена по равномерному закону (см. п. 6.1.7), т. е.

где параметры а и b неизвестны (подлежат оцениванию).

Легко проверить, что это — случай нерегулярный (в первую очередь потому, что область возможных значений исследуемого признака, в которой плотность положительна, зависит от оцениваемых по выборке параметров а и b). Поэтому обычная техника, использующая уравнения (8.21) метода максимального правдоподобия, здесь неприменима. Однако в этом случае экстремальная задача (8.19) может быть решена непосредственно.

Действительно,

причем область допустимых значений параметров a и b, где производится поиск тех значений , при которых описывается соотношениями:

где — имеющиеся в нашем распоряжении наблюдения исследуемой случайной величины. Очевидно, решение экстремальной задачи

дается соотношениями:

Опираясь на результаты п. 5.6.4 (см. также п. 8.6.4), можно подсчитать:

    (8.22)

Использовать неравенство информации для вычисления нижней границы дисперсии этих оценок мы не можем, так как случай нерегулярный. Из (8.22) видно, что величины характеризуют одновременно средний квадрат отклонения «подправленных на несмещенность» оценок

от истинных значений параметров а и b.

Пример 8.6. Снова рассмотрим задачу оценивания параметра сдвига в экспоненциальном распределении, задаваемом плотностью

Как и в предыдущем примере, имеем дело с нерегулярным случаем. Поэтому приходится непосредственно решать экстремальную задачу вида

Легко видеть, что является решением этой задачи: при любом другом , удовлетворяющем условию (8.22), очевидно

и, следовательно,

Опираясь на результаты п. 5.6.4 (см. также п. 8.6.4), можно подсчитать:

    (8.23)

Однако оценка получающаяся из оценки «подправлением на несмещенность», будет иметь средний квадрат отклонения

Пример 8.7 (заимствован из [22, с. 187]). Рассмотрим ситуацию, когда метод максимального правдоподобия не приводит к состоятельной оценке.

С целью оценки концентраций некоторого элемента в лаборатории производились двукратные измерения каждой из концентраций . Предполагается, что все результатов измерений имеют одинаковую точность и являются независимыми нормальными случайными величинами (см. п. 6.1.5), так что в качестве функции правдоподобия получаем

Неизвестными параметрами являются средних значений и дисперсия . Нетрудно получить оценки максимального правдоподобия параметров

Решая теперь уравнение максимального правдоподобия (8.21), в которое вместо подставлены значения получаем

Нетрудно подсчитать, что т. е. метод максимального правдоподобия дает в этом случае оценку параметра с постоянным (асимптотически-неустранимым) отрицательным смещением, равным . В качестве наилучшей несмещенной оценки следовало бы выбрать в данном случае статистику

8.6.2. Метод моментов. Пусть, как и прежде, — исследуемая -мерная случайная величина, подчиняющаяся закону распределения , где функция — плотность вероятности, если непрерывна, и вероятность если дискретна, зависит от некоторого, вообще говоря, многомерного параметра . И пусть мы хотим оценить неизвестное значениехэтого параметра, т. е. построить оценку по имеющейся в нашем распоряжении выборке, состоящей из независимых наблюдений где

Метод моментов заключается в приравнивании определенного количества выборочных моментов к соответствующим теоретическим (т. е. вычисленным с использованием функции ) моментам исследуемой случайной величины, причем последние, очевидно, являются функциями от неизвестных параметров . Рассматривая количество моментов, равное числу k подлежащих оценке параметров, и решая полученные уравнения относительно этих параметров, мы получаем искомые оценки. Таким образом, оценки по методу моментов неизвестных параметров являются решениями системы уравнений:

(очевидно, если анализируемая случайная величина дискретна, интегралы в левых частях (8.25) следует заменить соответствующими суммами типа

Число уравнений в системе (8.25) должно быть равным числу k оцениваемых параметров. Вопрос о том, какие именно моменты включать в систему (8.25) (начальные, центральные или их некоторые модификации типа коэффициентов асимметрии или эксцесса), следует решать, руководствуясь конкретными целями исследования и сравнительной простотой формы зависимости альтернативных теоретических характеристик от оцениваемых параметров

В статистической практике дело редко доходит даже до моментов четвертого порядка (исключение составляет, пожалуй, практика эксплуатации так называемой «системы кривых Пирсона», см., например, [16, с. 101], однако этот чисто формальный аппарат подгонки эмпирического распределения под одну из теоретических кривых практически не в состоянии, с нашей точки зрения, решать сколь-нибудь интересные задачи содержательного статистического анализа данных).

К достоинствам метода моментов следует отнести его сравнительно простую вычислительную реализацию, а также то, что оценки, полученные в качестве решений системы (8.25), являются функциями от выборочных моментов. Это упрощает исследование статистических свойств оценок метода моментов: можно показать (см. [48, гл. 27 и ), что при довольно общих условиях распределение оценки такого рода при больших асимптотически-нормально, среднее значение такой оценки отличается от истинного значения параметра на величину порядка а стандартное отклонение асимптотически имеет вид , где с — некоторая постоянная величина.

В то же время, как показал Р. Фишер (см. [48]), асимптотическая эффективность оценок, полученных методом моментов, оказывается, как правило, меньше единицы, и в этом отношении они уступают оценкам, полученным методом максимального правдоподобия. Тем не менее метод моментов часто очень удобен на практике. Иногда оценки, получаемые с помощью метода моментов, принимаются в качестве первого приближения, по которому можно определять другими методами оценки более высокой эффективности.

Вернемся к нашим примерам.

В примере 8.3 в качестве системы (8.25) имеем:

что дает уже знакомые нам по методу максимального правдоподобия оценки для параметров:

Нормальное распределение, так же как и распределение Пуассона (в чем легко убедиться, обратившись к примеру 8.4), относится к тем редким случаям, когда оценки по методу моментов совпадают с оценками по методу максимального правдоподобия.

Построение системы (8.25) в примере 8.5 дает:

Откуда легко получаем оценки:

Можно сравнить асимптотическую эффективность оценок, полученных методом максимального правдоподобия и методом моментов: учитывая, что дисперсия оценок (8.26) как дисперсия функций выборочных моментов имеет порядок (см. [48, с. 388]), и принимая во внимание соотношение (8.22), в соответствии с которым дисперсии оценок по методу максимального правдоподобия

тех же параметров имеют порядок получаем, что эффективность в сравнении с эффективностью и стремится к нулю при

Реализация метода моментов в примере 8.6 дает

Следовательно,

Для подсчета среднего значения и дисперсии оценки воспользуемся следующими фактами: а) случайную величину распределенную экспоненциально с параметром и с параметром сдвига (см. п. 6.1.8), можно интерпретировать как частный случай гамма-распределенной случайной величины с параметрами и с параметром сдвига (см. п. 6.2.5); б) сумма независимых случайных величин каждая из которых распределена по закону гамма с параметрами и с параметром сдвига 0, подчиняется гамма-распределению с параметрами и с тем же самым параметром сдвига (см. п. 6.2.5). Поэтому

Учитывая выражение (8.24) для среднего квадрата ошибки «подправленной» оценки по методу максимального правдоподобия того же параметра получаем

т. е. и в этом случае асимптотическая эффективность оценки по методу моментов стремится к нулю.