7. Экспоненциальные семейства

Важным примером семейств распределений, допускающих редукцию с помощью достаточных статистик, являются экспоненциальные семейства, плотность которых по отношению к некоторой -конечной мере на евклидовом выборочном пространстве , имеет вид

Распределение выборки взятой из биномиальной, пуассоновской или нормальной совокупности, относится к этому классу. В биномиальном случае, например, плотность по отношению к мере, которая для каждого целого числа равна единице, имеет вид

Пример 8. Если величины независимы и каждая из них имеет плотность (по отношению к мере Лебега), равную

то совместное распределение образует экспоненциальное семейство. При является плотностью -распределения с степенями свободы; в частности, при целом последняя плотность совпадает с плотностью суммы где образуют выборку из нормального распределения

Пример 9. Рассмотрим независимых испытаний, каждое из которых с вероятностями заканчивается одним из исходов Пусть равно 1, если испытание закончилось исходом и равно 0 в других случаях. Тогда совместное распределение имеет вид

где каждое равно 0 или 1 и Это семейство снова

экспоненциальное с Статистики имеют совместное полиномиальное распределение

Если выборка из распределения с плотностью (32), то совместное распределение образует экспоненциальное семейство с достаточными статистиками Таким образом, сколь бы велик ни был объем выборки, для существует -мерная достаточная статистика. Обратно, пусть является выборкой из распределения с некоторой плотностью и пусть множество, на котором эта плотность положительна, не зависит от . Тогда при условиях регулярности, позволяющих осмысленно применить понятие размерности, можно и из существования -мерной достаточной статистики с вывести, что плотности образуют экспоненциальное семейство.

Используя более естественную параметризацию и включая множитель мы придадим экспоненциальному семейству форму где

Правая часть (35), если ее интеграл конечен, может быть надлежащим выбором превращена в плотность вероятности. Множество параметрических точек для которых это имеет место, называется естественным параметрическим пространством экспоненциального семейства (35).

Оптимальные критерии для проверки различных гипотез, касающихся находятся в главе 4. Мы установим сейчас некоторые свойства экспоненциальных семейств, необходимые для этой цели.

Лемма 7. Естественное параметрическое пространство экспоненциального семейства выпукло.

Доказательство. Пусть — две параметрические точки, для которых интеграл от (35) конечен. Тогда по равенству Гельдера для любого

Если выпуклое множество лежит в линейном пространстве размерности меньшей то (35) может быть переписано в форме, включающей менее компонент Поэтому мы, не ограничивая общности, предположим -мерным.

Из теоремы о факторизации вытекает, что статистика достаточна для

Лемма 8. Пусть X имеет распределение из экспоненциального семейства

Тогда существуют меры и вероятностные меры на и -мерном евклидовом пространствах соответственно, такие, что

(I) распределение принадлежит экспоненциальному семейству

(II) условное распределение при данном принадлежит экспоненциальному семейству вида

т. е. в частности не зависит от .

Доказательство. Пусть (9°, 0°) — точка естественного параметрического пространства и Тогда

и результат следует из леммы 6 с

и

Теорема 9. Пусть ограниченная измеримая функция на Тогда

(I) интеграл

рассматриваемый как функция комплексных переменных является аналитической по каждой из этих переменных в области параметрических точек, для которых является внутренней точкой естественного параметрического пространства ;

(II) производные любого порядка от интеграла (38) по могут вычисляться дифференцированием под знаком интеграла. Доказательство. Если то

так что интеграл (38) существует и конечен для всех точек из Пусть некоторая фиксированная внутренняя точка Рассмотрим одну из величин, например Выделяя в множителе его действительную и мнимую части и разлагая каждую из последних на положительную и отрицательную части, включая затем надлежащие множители в меру мы представим интеграл (38) в виде

Достаточно доказать требуемый результат для интегралов вида

Так как внутренняя точка то существует такое что конечна для всех с Рассмотрим разностное отношение

Подынтегральное выражение может быть записано в виде

Применяя ко второму множителю неравенство

мы видим, что подынтегральное выражение по абсолютной величине не превосходит

если Так как правая часть интегрируема, то из теоремы Лебега об ограниченной сходимости (теорема 1 (II)) вытекает, что для любой последовательности точек сходящейся к разностное отношение стремится к

Этим завершается доказательство (I) и доказывается (II) для случая первой производной. Доказательство для высших производных проводится по индукции и вполне аналогично тому, что сделано выше.

8. Задачи

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

9. Литературные ссылки

Теория меры и интегрирования в абстрактных пространствах излагается во многих книгах, в том числе в книгах Халмоша (1950), Лоэва (1955) и Сакса (1937).

Определение и основные свойства условных верятностей и математических ожиданий были даны Колмогоровым (1933). Более детальное изложение, содержащее большое число дополнительных результатов, можно найти в книгах Дуба (1953) и Лоэва (1955).

Названия этих книг, а также более специальные ссылки на литературу к разделам 3, 6 и 7 даются ниже.

(см. скан)

(см. скан)