§ 9.2. Сопряженные семейства распределений

В каждом из примеров § 9.1 и упр. 1—7 в конце главы имеется достаточная статистика, которую можно представить одной или двумя скалярными функциями от наблюдений Размерность этой достаточной статистики одна и та же при всех объемах выборки Планирование и анализ эксперимента оказываются достаточно несложными если предположить, что повторная выборка извлекается из распределения, принадлежащего семейству, обладающему достаточной статистикой фиксированной размерности. Одно существенное упрощение происходит от того, что при этих условиях существует стандартное семейство распределений параметра со следующим свойством. Если априорное распределение принадлежит этому семейству, то при любом объеме выборки и любых значениях наблюдений в выборке апостериорное распределение должно также принадлежать этому семейству. Семейство распределений с этим свойством называется замкнутым относительно процесса выбора. Его называют также сопряженным семейством распределений ввиду особой связи, которая должна существовать между семейством распределений параметра и семейством распределений наблюдений.

Таким образом, когда существует достаточная статистика фиксированной размерности, у статистика появляется возможность работать только с априорными и апостериорными распределениями из сравнительно узкого сопряженного семейства. Чтобы это упрощение было полезным, сопряженное семейство распределений все же должно быть достаточно богатым, а именно, в нем для широкого класса ситуаций должно найтись распределение, адекватно представляющее априорное распределение

Допустим для примера, что повторная выборка из распределения Бернулли с неизвестным значением параметра Далее, предположим, что априорное распределение есть бета-распределение с заданными значениями параметров а Тогда априорная параметра есть

Здесь мы употребляем символ пропорциональности чтобы указать, что задается правой частью (1) с точностью до множителя, не содержащего

Вообще, если априорная о. в. п. W есть и условная о. в. п. X при есть то апостериорная о. в. п. пара

метра при есть

Употребление символа пропорциональности в соотношении (2) законно, так как условная о. в. п. W равна правой части (2), деленной на куда не входит.

Вернемся к нашему примеру. Условная совместная ф. в. выборки дается равенством (6) § 9.1. Поэтому в силу соотношений (1) и (2) апостериорная п. р. в. параметра при есть

Здесь Из соотношения (3) видно, что апостериорное распределение есть бета-распределение с параметрами а у. Мы доказали следующую теорему.

Теорема 1. Пусть повторная выборка из распределения Бернулли с неизвестным значением параметра Допустим, что априорное распределение есть бета-распределение с параметрами Тогда апостериорное распределение при есть бета-распределение с параметрами где

Другими словами, семейство бета-распределений сопряжено к семейству распределений Бернулли. Надо заметить, что в теореме термин «параметр» используется двояко. Случайная величина значение которой неизвестно статистику, есть параметр, возможные значения которого определяют семейство о. в. п. каждого наблюдения над Параметры значения которых известны, определяют сопряженное семейство п. р. в. .

Вопрос о построении сопряженных семейств распределений будет подробно рассмотрен в следующем параграфе.

Дальнейшие замечания и ссылки на литературу. Семейство о. в. каждая из которых определена на заданном выборочном пространстве называется экспонентным семейством, если для любых и

Рассмотрим экспонентное семейство этого типа и предположим, что случайные величины или случайные векторы,

значения которых принадлежат выборочному пространству S и совместная о. в. п. которых для любой точки задается равенством

Пусть -мерный вектор, определяемый равенством

Тогда достаточная статистика фиксированной размерности к для любого объема выборки

Дармуа (1935), Купмэн (1936) и Питмэн (1936) показали, что среди семейств распределений, которые удовлетворяют определенным условиям регулярности, достаточные статистики фиксированной размерности существуют только для экспонентных семейств [см. также Фрейзер (1963)]. Почти все примеры, рассматриваемые в этой главе, связаны с экспонентными семействами (см. упр. 11). Семейство равномерных распределений не является экспонентным, но для него существует достаточная статистика фиксированной размерности. Здесь, однако, не выполнено одно из условий регулярности, состоящее в том, что множество точек для которых не зависит от значения .