3.4. ДОСТАТОЧНОСТЬ

3.4.1. ОПРЕДЕЛЕНИЕ ДОСТАТОЧНОСТИ

В разделе 3.3.3 обсуждалась концепция эффективности как меры приближения выборочной дисперсии оценки к тому минимальному значению, которое может быть получено теоретически. Концепция достаточности принадлежит к тому классу идей, но представляется более глубокой.

Р. Фишер обнаружил, что в некоторых случаях можно собрать в единственной статистике всю информацию, содержащуюся в выборке относительно оцениваемых параметров (пользуясь словом «информация» в бытовом смысле). Такая статистика была названа достаточной оценкой данного параметра. (Существование достаточной статистики — даже в ограниченном классе распределений — имеет огромное теоретическое значение, как будет объяснено далее. С практической точки зрения это, возможно, менее важно, поскольку не всегда можно сделать выбор между двумя моделями распределения, одна из которых обладает достаточной статистикой, а другая нет.)

Пример 3.4.1. Достаточность наблюдаемой частоты как оценки биномиального параметра. Чтобы проиллюстрировать смысл достаточности, рассмотрим оценивание вероятности выпадания «шестерки» на несимметричной игральной кости по данным о результате бросаний этой кости. Интуитивно ясно, что отдельных результатов в этой задаче неважны (т.е. не нужен учет по номерам успехов и неуспехов), а важно только общее число успехов (или доля успехов в ). Интуиция в данном случае правильна, поскольку, как показано ниже, общее число успехов является достаточной статистикой для оценивания параметра

Обозначим через последовательность результатов бросания кости, где если при бросании был успех (т. е. выпала

«шестерка») и в противном случае, Рандомизация [см. II, раздел 3.3], достигаемая встряхиванием кости в коробочке перед бросанием, обусловливает независимость [см, II, раздел 3.6.2]; поэтому мы можем рассматривать как реализации индуцированной случайной величины — независимы и одинаково распределены с общим распределением, заданным [см. II, раздел 5.3.1]:

т.е.

При заданном общем числе успехов (скажем, условное совместное распределение [см II, 13.1.4] имеет вид

Если теперь то числитель с (3.4.2) сократится до поскольку подразумевается, что и эта вероятность просто

Если же то числитель в (3.4.2) равен нулю, поскольку это вероятность невозможного события.

Знаменатель в (3.4.2) равен:

поскольку имеет распределение [см. II, раздел 5.2.2].

Итак,

Отметим важную особенность этого результата: условное распределение выборки при данном значении статистики не зависит от . Если значение этой статистики известно, любые дальнейшие заключения о принимающие в расчет это знание, должны основываться на условном распределении значений выборки; поскольку же в нем

не участвует, никакие выводы о из него извлечь невозможно, т. е. при заданном общем числе успехов нельзя извлечь из данных что-нибудь еще, относящееся к . В этом смысле статистика содержит всю информацию о которую можно извлечь из выборки. Вот в каком смысле статистика является достаточной для конечно, совсем не значит, что отдельные выборочные значения бесполезны для других умозаключений. Рассуждения в примере основывались на предположении о том, что независимы и одинаково распределены, что действительно имеет место при бросании костей. Может статься, что в других случаях взаимная независимость окажется под сомнением. Для разъяснения, конечно, понадобится вся выборка целиком.)

Те же доводы, что показали достаточность для покажут достаточность для и таких статистик, Фактически любая функция от достаточна. В обсуждаемом случае интуитивно ясно, что приемлемой функцией будет доля успехов, поскольку это несмещенная оценка Далее [см. раздел 3.4.3] будет рассмотрен объективный критерий (теорема Рао—Блеквелла) для правильного выбора.

Приведем теперь формальное определение достаточности. Определение 3.4.1. Достаточность. Пусть (непрерывные или дискретные) случайные величины имеют в точке , где в — (скалярный) параметр, и пусть — статистика, основанная на наблюдениях Тогда в достаточна для , если для любой другой статистики условное распределение при данном в не зависит от в. В частности, в достаточна для в, если совместное условное распределение при данном в не зависит от [см. также раздел 4.13.1.6)].

Пример 3.4.2. Достаточность выборочного среднего как оценки экспоненциального параметра. Пусть — выборка наблюдений экспоненциальной случайной величины X, п.р.в. которой в х равна:

Тогда, достаточна для в. В терминах независимых одинаково распределенных переменных которые являются статистическими копиями X, так что представляют собой реализации условное распределение выборки при данном значении х определяется условной п.р.в. в точке случайного вектора при условии

Если эта плотность равна

где в точке если же это нуль [см. пример 3.4.1]. Теперь [см. II, раздел 11.3.2]

и

Таким образом, (3.4.3) сводится (в нетривиальном случае) к

что не зависит от . Следовательно, достаточна для .

Пример (3.4.3) (продолжение). В примере 3.4.2 было показано, что при заданных среднее выборки Т является достаточной статистикой для . Из этого, однако, не вытекает, что в каком-то смысле хорошая оценка для . Фактически совершенно неприемлема как оценка для , поскольку она даже не имеет нужной размерности [см. раздел 3.3.1, а] так что, имеет размерность а не . Что действительно следует из примера 3.4.2, так это то, что наилучшая возможная оценка должна быть функцией Ответа на вопрос, какая функция, концепция достаточности не дает; он должен быть получен с помощью других критериев (таких, как состоятельность [см.раздел 3.3.1]). В данном случае по соображениям размерности правомерно считать, что может оказаться приемлемой оценкой. Действительно, распределение задается (3.4.4), откуда ожидаемое значение равно:

[см. II, раздел 10.4.1]. Следовательно, — несмещенная [см. раздел 3.3.2] функция достаточной статистики этой точки зрения — наилучшая возможная оценка . (Формальная процедура получения несмещенной достаточной статистики приведена в разделе 3.4.3.)