Глава 9. СОПРЯЖЕННЫЕ АПРИОРНЫЕ РАСПРЕДЕЛЕНИЯ

§ 9.1. Достаточные статистики

Рассмотрим статистическую задачу, в которой собрано большое количество экспериментальных данных. Использование этих данных часто упрощается, если вычислить значения некоторого количества числовых характеристик, или статистик, и считать, что эти значения содержат всю нужную информацию, имевшуюся в первоначальных данных. В определенных задачах статистический анализ, базирующийся на этих немногих итоговых данных, может быть столь же эффективным, как и анализ, основанный на всех наблюденных значениях. В этой главе мы рассматриваем задачи, для которых имеются вполне информативные итоговые данные такого типа, известные под названием достаточных статистик.

Пусть параметр, принимающий значения из пространства Далее, пусть X — случайная величина или случайный вектор со значениями в выборочном пространстве Мы будем обозначать через условную о. в. при Предполагается, что для того чтобы делать выводы и принимать решения относительно параметра мы можем наблюдать значение . В дальнейшем любая функция наблюдаемой случайной величины X, являющаяся скалярной или нет, называется статистикой.

Статистику называют достаточной, если, грубо говоря, при любом априорном распределении параметра его апостериорное распределение зависит от значения X только через Формально для произвольной априорной о. в. параметра и любого наблюдения пусть обозначает апостериорную о. в. Ради простоты допустим в этом разделе, что для любого значения и любой априорной о. в. апостериорная о. в. п. существует и вычисляется по формуле Байеса. Говорят, что статистика является достаточной статистикой для семейства о. в. п. , если для любой о. в. п. и любых двух точек таких, что Называть статистику с такими свойствами достаточной есть много оснований. Чтобы вычислить апостериорное распределение исходя из любого априорного распределения, статистику достаточно знать лишь значение Ему не нужны при этом значения самого случайного вектора X, который может

иметь высокую размерность. При этом стоит подчеркнуть, что значения любой о. в. можно произвольным образом изменить на любом множестве вероятности 0. Поэтому, когда мы говорим, что о. в. п. в предыдущем определении или о. в. п. в следующей теореме имеют некоторые свойства, мы понимаем под этим, что существуют варианты этих о. в. принадлежащие тому же классу эквивалентности) с указанными свойствами.

Следующая теорема, известная как факторизационный критерий, дает простой способ распознавания достаточных статистик.

Теорема 1. Статистика достаточна для семейства о. в. п. тогда и только тогда, когда функцию можно следующим образом представить в виде произведения

Здесь функция и положительна и не зависит от функция неотрицательна и зависит от х только через

Доказательство. Допустим сперва, что факторизация (1) имеет место. Тогда для любой априорной о. в. п. параметра и любых точек апостериорная о. в. есть

Поскольку правая часть равенства (2) зависит от наблюдаемого значения х только через значения то достаточная статистика.

Обратно, пусть достаточная статистика. Пусть любая априорная о. в. п. параметра такая, что при всех Апостериорная о. в. п. определяется при формулой

Поскольку достаточная статистика, то где функция зависит лишь от и Ввиду этого из соотношения (3) следует, что

Равенство (4) и дает факторизационную формулу

Далее в этой главе и в других частях книги нам будут встречаться случайные величины совместное распределение которых зависит от значения де параметра следующим образом: при данном де величины образуют повторную выборку из распределения с о. в. п. . Поэтому условная совместная о. в. п. случайных величин при задается равенством

Если распределение величин удовлетворяет этим условиям, то мы будем говорить, что - повторная выборка из заданного распределения с неизвестным значением параметра Мы дадим три примера достаточных статистик, иллюстрирующих эту терминологию.

ПРИМЕР 1. Допустим, что повторная выборка из распределения Бернулли с неизвестным значением параметра Другими словами, единственные возможные значения каждой случайной величины суть 0 и 1 и для любого значения параметра такого, что совместная выборки задается формулой

Здесь Совместная ф. в. (6) зависит от значений только через их сумму. Соответственно пусть статистика определена равенством

Мы видим, что достаточная статистика для семейства определяемого равенством (6),

ПРИМЕР 2. Пусть повторная выборка из нормального распределения с неизвестными значениями среднего и дисперсии. Тогда для любых заданных значений среднего и дисперсии, совместная п. р. в. выборки задается равенством

Положим Тогда

Поэтому п. р. в., определяемая равенством (8), зависит от результатов наблюдений величин только через

Пусть двумерная векторная статистика, определяемая равенством

Мы видим, что достаточная статистика для семейства п. р. в. (8). Иногда говорят, что две компоненты вектора совместно достаточные статистики.

ПРИМЕР 3. Пусть повторная выборка из равномерного распределения на интервале где значение параметра неизвестно. Для заданного значения параметра условная п. р. в. одного наблюдения задается равенством

Условную совместную п. р. в. величин равную

можно переписать в виде

Последняя функция зависит от результатов наблюдений только через

Соответственно пусть статистика определена равенством

Тогда достаточная статистика для семейства п. р. в. (12).

Другие примеры достаточных статистик даны в упр. 1—9 в конце главы.

Дальнейшие замечания и ссылки на литературу. Понятие достаточной статистики было введено Фишером (1922). Строгое определение этого понятия на основании теории меры было дано Халмошем и Сэвиджем (1949). Достаточные статистики изучались также

Леманом и Шеффе (1950), Дынкиным (1961), Бахадуром (1954). Изложение теории достаточных статистик можно найти в книгах Сэвиджа (1954), Лемана (1959) и Райффы и Шляйфера (1961).