15.3. ТЕОРЕМА БАЙЕСА: НЕПРЕРЫВНЫЙ СЛУЧАЙ

15.3.1. ВИД ТЕОРЕМЫ БАЙЕСА В НЕПРЕРЫВНОМ СЛУЧАЕ

В предыдущем разделе мы обсуждали приемлемый вид теоремы Байеса, когда множество рассматриваемых возможных моделей можно представить в форме конечного или бесконечного списка. Однако во многих случаях существует континуум таких моделей, и поэтому дискретное представление их в форме списка невозможно. Примеры такой ситуации:

а) случайная переменная X имеет биномиальное распределение [см. II, раздел 5.2.2], соответствующее испытаниям с неизвестными шансами на успех при каждом испытании; если единственное ограничение на параметр состоит в том, что , то множество возможных моделей отождествляется с множеством всех возможных значений параметра;

б) если рассматривать X, определенную в примере 15.2.5, но при этом предположить только, что параметр положительный, то множество всех возможных моделей снова будет соответствовать множеству всех возможных значений параметра; в этом случае множество имеет вид действительной прямой с положительными значениями

в) по определению случайная переменная X имеет нормальное распределение с неизвестным средним и неизвестной дисперсией если не существует ограничений на значения этих параметров, то множество возможных моделей соответствует множеству

Каждый из этих примеров является частным случаем следующей общей ситуации: случайная переменная X имеет распределение вероятностей, определенное в терминах неизвестного параметра который принадлежит к определенному множеству возможных значений параметра

Распределение X может оказаться дискретным или непрерывным, а X или 0 либо обе величины одновременно могут характеризоваться вектором значений; в любом случае будем использовать форму записи для обозначения правдоподобия [см. разделы 3.5.4, 6.2.1] отдельного значения параметра если задано, что наблюдается когда рассматривается как функция х при заданном в, то оно может восприниматься как функция «вероятностных масс», т. е. как полигон вероятностей или как плотность распределения вероятностей в зависимости от того, является X дискретной или непрерывной переменной.

Априорные вероятности для множества возможных моделей соответствуют в общем случае распределению вероятностей на множестве возможных значений параметра; так как будет интервалом на действительной прямой, или областью на плоскости, или в некотором пространстве большего числа измерений, размерность которого зависит от размерности параметра, то априорные характеристики доверия (суждения) придется определить в виде априорной плотности вероятности

Получив в распоряжение данные мы хотим пересмотреть априорное распределение и получить апостериорную плотность вероятностей Результат, с помощью которого устанавливается связь между выглядит следующим образом.

Теорема 15.3.1. Теорема Байеса (непрерывный случай). Если — множество возможных значений параметра с априорной плотностью вероятностей на множестве и если обозначает правдоподобие в при заданных наблюдениях то апостериорная плотность вероятностей задается выражением

где

Доказательство. В соответствии с определением условной плотности вероятностей

где — совместная плотность [см. II, раздел 13.1.1]. Вид вытекает из определения маргинальной (частотной) плотности [см. II, раздел 13.2.1].

Содержание теоремы Байеса в непрерывном виде легче всего запоминается с помощью такого представления:

Символически это выражается следующим образом:

где, как и раньше, обозначения используются, чтобы представить маргинальную или совместную плотность. При этом необходимо понимать, что, например, являются совершенно различными плотностями.

Символ пропорциональности указывает, что в правой части выражения пропущен сомножитель, не включающий . «Форма» определяется произведением а отсутствующий сомножитель

служит для нормирования таким образом, чтобы

Рис. 15.3.1. Возможные варианты формы кривых для

Для определения вида требуется некоторое обсуждение. Прежде всего необходимо снова выделить утверждение, сделанное в разделе 15.2.1. В данной задаче не существует такого понятия, как «корректный выбор» Действительный выбор зависит от индивидуального представления в свете информации и опыта, имеющихся в распоряжении статистика в данный момент времени.

Пример 15.3.1. На рис. 15.3.1 изображены возможные виды для биномиального распределения с неизвестным параметром

В случае а) представлено суждение, что все значения в, 0 в 1, рассматриваются как равно возможные в том смысле, что подинтервалам одинаковой длины присвоены одни и те же вероятности независимо от того, где они расположены в пределах интервала от 0 до 1.

В случае б) представлено суждение, что является наиболее вероятным значением, а вероятность события примерно в пять раз больше, чем вероятность события (Напомним, что априорная вероятность того, что в лежит в любом отдельном интервале, определяется площадью под кривой плотности в пределах этого интервала.)

В случае б) представлено суждение, что значения в, близкие к 0 и 1, гораздо более вероятны, чем значения в центре интервала.