§ 9.3. Построение сопряженного семейства

Вернемся к примеру из теоремы 1 § 9.2. Для любых положительных постоянных а, пусть обозначает п. р. в. бета-распределения с параметрами . В рассматриваемом примере семейство бета-распределений оказалось сопряженным к семейству распределений Бернулли благодаря следующим двум свойствам.

Во-первых, пусть наблюденные значения случайных величин Условная совместная величин задается равенством (6) § 9.1. Если рассматривать ее как функцию от то из определения п. р. в. бета-распределения следует, что

Поэтому для любых наблюденных значений функция пропорциональна п. р. в. некоторого бета-распределения.

Во-вторых, если каких-либо двух бета-распределений, то существует еще одна п. р. в.

такая, что при

В самом деле, из определения п. р. в. бета-распределения следует, что для справедливости соотношения (2) должно быть

Поскольку правая часть соотношения (3) пропорциональна п. р. в. бета-распределения с параметрами получаем, что (2) выполнено при

Семейство п. р. в., удовлетворяющее соотношению (2), называется замкнутым относительно умножения.

Если априорным распределением было бета-распределение то апостериорная параметра будет удовлетворять условию

Из соотношений (1) — (4) следует, что апостериорная п. р. в. параметра есть п. р. в. бета-распределения с параметрами у. Это и есть результат, сформулированный в теореме 1 § 9.2.

Приведенные соображения подсказывают метод нахождения сопряженного семейства распределений в любой задаче с достаточной статистикой фиксированной размерности. Статистику нужно лишь определить такое семейство п. р. в., зависящее от параметра что: (1) для любого объема выборки и любых наблюденных значений условная совместная о. в. рассматриваемая как функция от пропорциональна одной из п. р. в. этого семейства и (2) это семейство замкнуто относительно умножения.

Мы покажем теперь, что если семейство о. в. имеет достаточную статистику фиксированной размерности для любого объема выборки то должно существовать простое сопряженное семейство с указанными свойствами. Из теоремы 1 § 9.1 следует, что для каждого значения существует функция такая, что

Если положить и предположить, что то найдется п. p. в. на пространстве со свойством

Рассмотрим семейство п. р. в. для всевозможных объемов выборки и значений статистики Из соотношений (6) и (7) следует, что функция должна быть пропорциональной одной из плотностей этого семейства. Далее, как мы сейчас покажем, это семейство замкнуто относительно умножения.

Рассмотрим две произвольные п. р. в. , принадлежащие этому семейству. Существуют две выборки: соответственно объемов такие, что Если объединить эти выборки, то получим выборку объема и соответствующие о. в. будут удовлетворять соотношению

Если то из соотношений (6), (8) выводим

Поэтому наше семейство замкнуто относительно умножения и удовлетворяет свойствам, требуемым от сопряженного семейства.

Часто бывает удобнее брать в качестве сопряженного несколько более обширное семейство п. р. в., чем то, которое мы только что построили. Например, из соотношения (1) видно, что для выборок из распределения Бернулли функция должна всегда быть пропорциональной п. р. в. бета-распределения, для которого оба параметра натуральные числа. Таким образом, это подсемейство семейства всех бета-распределений замкнуто относительно умножения и может быть выбрано в качестве сопряженного семейства. Однако удобнее брать в качестве такого семейства все семейство бета-распределений (можно проверить, что оно также замкнуто относительно умножения).

В дальнейших параграфах этой главы мы изложим несколько теорем, которые описывают замкнутые семейства для выборок из различных распределений. Все эти теоремы были установлены так: записав функцию обнаруживали, что она пропорциональна п. р. в., принадлежащей одному из стандартных семейств распределений, описанных в гл. 4 и 5. Когда такое семейство найдено и теорема сформулирована, ее доказательство сводится к проверке тогоу что это семейство замкнуто относительно выбора.

Если функция рассматривается как функция от при заданных значениях наблюдений то ее называют функцией правдоподобия. Таким образом, функция правдоподобия играет основную роль в нашем изучении сопряженных семейств распределений.

Дальнейшие замечания и ссылки на литературу. Понятие сопряженного семейства распределений было формализовано Райффой и Шляйфером (1961), которые также детально изучили многие из семейств, которые будут представлены далее. Другие теории? статистических выводов, в которых понятие функции правдоподобия имеет фундаментальное значение, рассматривались Фишером (1956), Барнардом (1949, 1962, 1967), Бирнбаумом (1962), Барнардом, Дженкинсом и Уинстеном (1962) и Стейном (1962). Эти подходы связаны с излагаемым нами байесовским подходом, отличаются от него.