§ 9. Условные распределения вероятностей

Для теории вероятностей было бы очень удобно, если бы каждому борелевскому полю измеримых -множеств удалось сопоставить функцию определенную на всех измеримых -множествах и всех точках такую, что

При каждом фиксированном как функция от определяет некоторую вероятностную меру, и при каждом фиксированном как функция от совпадает почти всюду с некоторой функцией, измеримой относительно

Для каждого с вероятностью 1

Из этих двух свойств вытекают и все свойства § 8, но последние свойства могут иметь место и без того, чтобы существовала функция - , удовлетворяющая

Если нужная нам функция от существует, то она может и не быть единственной, однако любые две такие функции при любом фиксированном совпадают с вероятностью 1. Существование функции, удовлетворяющей условиям означает, что условные вероятности (условные относительно могут быть определены таким образом, чтобы при каждом они задавали вероятностную меру; в этом случае указанная вероятностная мера, зависящая от параметра называется условным распределением вероятностей относительно . К сожалению, такое условное распределение вероятностей может и не существовать.

Рассмотрим в качестве примера один случай, когда такое распределение существует. Пусть — непересекающиеся измеримые -множества такие, что

Пусть класс множеств, являющихся суммами множеств Тогда, одним из возможных вариантов является

Определенная таким образом функция удовлетворяет условиям

Теорема 9.1. Если существует условное распределение вероятностей относительно то для любой случайной величины у, имеющей математическое ожидание, один из вариантов задается (как функция от параметра интегралом от у по этому условному распределению, так что, при очевидных соглашениях об обозначениях,

Пусть класс случайных величин у, для которых утверждение теоремы справедливо. Тогда, в силу свойства входят все случайные величины, принимающие значение 1 на некотором измеримом -множестве и обращающиеся в нуль вне этого множества. Очевидно, является линейным классом функций, т. е. в этот класс входят все линейные комбинации его элементов. Таким образом, в входят все случайные величины, принимающие конечное число значений. Наконец, основываясь на свойстве мы заключаем, что в входит любая случайная величина, являющаяся пределом последовательности случайных величин, входящих в если для этой последовательности существует мажорирующая случайная величина х, такая, что

Но отсюда следует, что в входит любая случайная величина у, обладающая математическим ожиданием, что и требовалось доказать.

Пусть случайные величины, и пусть наименьшее борелевское поле -множеств, относительно которого измеримы величины Предположим, что существует функция определенная для и всех и удовлетворяющая условиям при Если некоторое -мерное борелевское множество -мерное, если величины комплексные), то положим

Тогда определяет на борелевских множествах вероятностную меру, зависящую от параметра Вероятностная мера на множествах определяемая функцией называется условным распределением вероятностей величин относительно

Теорема 9.2. Предположим, что существует условное распределение величин относительно и пусть беровская функция от переменных, для которой Тогда один из вариантов задается интегралом от по условному распределению вероятностей величин относительно

Обозначим через класс беровских функций для которых выполнено утверждение теоремы. Тогда, по определению условного распределеаия, в входит любая функция, равная 1 на некотором n-мерном -мерном в комплексном случае) борелевском множестве и равная вне этого множества, и доказательство проводится дальше точно так же, как и в предыдущей теореме. Для частного случая наш результат является также тривиальным следствием теоремы 8.4.

Теорема 9.3. Пусть каждая из функций задает условное распределение вероятностей величин относительно и пусть определены, как и выше, т. е.

Тогда существует (не зависящее от -множество вероятности такое, что

Если - борелевское множество, то с вероятностью 1

Следовательно, существует -множество вероятности 0, такое, что

Пусть теперь - последовательность, состоящая из всех интервалов с рациональными концами, занумерованных в каком-нибудь порядке. (Эти интервалы -мерны, если действительны, и -мерны в комплексном случае.) Положим Тогда

если -какое-нибудь из множеств а следовательно, и если -любой интервал. Теорема вытекает теперь из того факта, что любые две меры, заданные на борелевских множествах, совпадают, если они равны друг другу на всех интервалах.

Мы еще не обсуждали условий, необходимых для того, чтобы обеспечить существование условного распределения вероятностей случайных величин относительно боредевского поля Получим сперва один предварительный результат. Пусть -наименьшее борелевское поле -множеств, относительно которого измеримы величины В дальнейшем У будет обозначать -мерное борелевское множество (или -мерное множество, если величины комплексны). Мы будем называть функцию условным распределением вероятностей величин уотносительно в широком смысле, если определяет при фиксированном У функцию от с, равную почти всюду некоторой функции, измеримой относительно а при фиксированном —вероятностную меру на множествах и если при каждом У с вероятностью 1

Так как входящее в левую часть этой формулы -множество не определяет однозначно множество У, то и функция не определяет при каждом вероятностную меру на множествах Поэтому существование функции еще не гарантирует существования условного распределения величин относительно Однако если существует и если - любая беровская функция переменных такая, что

то с вероятностью 1

где интеграл справа является при каждом обычным интегралом по -мерному пространству. Этот результат доказывается точно так же, как и теорема 9.2. Он отличается от теоремы 9.2 тем, что в теореме интегрирование проводилось по пространству точек Мы увидим, что существование условного распределения величин в широком смысле почти столь же полезно, как и существование обычного условного распределения.

Так же как и обычное условное распределение, условное распределение в широком смысле определено не однозначно. Однако если и Два условных распределения в широком смысле, то существует -множество вероятности такое, что для каждого не входящего в это множество,

при всех доказательство этого утверждения аналогично доказательству теоремы 9.3.

Теорема 9.4. Пусть - случайные величины и -любое борелевское поле измеримых -множеств. Тогда существует условное распределение величин относительно в широком смысле кое, что определяет при фиксированном функцию, измеримую относительно

Заметим, что в силу этой теоремы в качестве условного распределения относительно любых случайных величин может быть выбрана функция от являющаяся при фиксированном беровскон функцией от переменных Это вытекает из нашей теоремы, если принято, за наименьшее борелевское поле -множеств, относительно которого измеримы величины так как при таком выборе функции, измеримые относительно окажутся беровскими функциями от

Для определенности мы проведем доказательство для действительных Формулировка и доказательство теоремы очевидным образом переносятся на случай счетиого числа величин у В дальнейшем обозначает некоторую произвольную фиксированную -мерную функцию распределения. Мы должны определить функцию для любого n-мерного борелевского множества и любого Определим ее сперва для являющихся интервалами вида

Для каждой совокупности рациональных чисел выберем вариант условной вероятности измеримый относительно Из свойств § 8 легко получить, что существует -множество вероятности 0, такое, что если то определяемая этими условными вероятностями функция от (рациональных) совпадает на множестве рациональных точек пространства измерений с некоторой -мерной функцией распределения. Это значит, что для эта функция от рациональных является неубывающей и непрерывной справа функцией по каждому из переменных и т. д. (см. § 3). Положим теперь при рациональных

используя при этом выбранные выше варианты условных вероятностей. Если не все числа рациональны, то положим

(где рациональны). Тогда определяет при фиксированном функцию распределения по и тем самым определяет вероятностную меру на -мерных борелевскихмножествах Пусть —мера, приписываемая при этом множеству У. Нам остается показать, что при каждом определяет функцию от измеримую относительно и что с вероятностью 1 выполнено (9.1) (исключительное -множество в (9.1) будет зависеть от У и от выбора варианта условной вероятности). Это утверждение верно, по определению если -один из интервалов Применив из § 8, мы получаем, что утверждение верно, если -правый полузамкнутый интервал, конечный пли бесконечный, а следовательно, и если -конечная сумма таких интервалов. Наконец, класс множеств У, для которых верно это утверждение, включает в себя, согласно из § 8, пределы монотонных последовательностей множеств из этого класса. Следовательно, в этот класс входят все борелевские множества У, что и нужно было доказать.

Докажем теперь, что при довольно широких предположениях существует условное распределение вероятностей величин относительно Эти предположения относятся к множеству значений величин являющемуся -мерным множеством -мерными в комплексном случае) точек вида принимает все возможные значения.

Теорема 9.5. Пусть случайные величины, и пусть борелевское поле измеримых -множеств? Тогда, если множество значений величин является борелевским множеством, то существует условное распределение относительно такое, что определяет при фиксированном функцию, измеримую относительно

Мы дадим доказательство для случая действительных . В дальнейшем определено, как и выше, обозначает произвольную фиксированную вероятностную меру на Факт существования хотя бы одной такой меры будет получен в ходе доказательства. Пусть условное распределение (в широком смысле) величин относительно найденное в теореме 9.4. Тогда, применяя (9.1), получаем, что с вероятностью 1

Если если существуют два борелевских множества таких, что

то являются подмножествами дополнения к множеству Следовательно, если то

Поэтому определение при помощи равенства

если является однозначным. Это определение задает как вероятностную меру по при фиксированном и показывает вместе с тем, что существует хотя бы одна вероятностная мера на Положим, наконец,

Определенная таким способом функция и оказывается искомым условным распределением вероятностей.

Условие теоремы 9.5, требующее, чтобы область значений величин была борелевским множеством, является очень полезным. Оно удовлетворяется, например, всегда, когда дискретные случайные величины, т. е. когда конечное или счетвое множество. (В этом случае, конечно, доказательство упрощается и становится тривиальным.) С другой стороны, это условие. выполнено, если совпадает со всем -мерным пространством -мерным пространством в комплексном случае). Это наиболее важный частный случай; он особенно полезен потому, что когда применяется теория, изложенная в § 6, то все рассматриваемые случайные величины становятся координатными переменными многомерного координатного пространства и является всем пространством. Для того чтобы в связп с этим полностью использовать теорему 9.5, мы изучпм теперь преобразование условных вероятностей и математических ожиданий при переходе от случайных величин к их изображениям. Так как условные вероятности являются частным случаем условных математических ожиданий, то мы рассмотрим только последние. Пусть случайные величины где изображаются при помощи координатных переменных

координатного пространства. Предположим, что Если состоит из целых чисел то мы имеем, таким образом, изображение случайных величин как координатных переменных -мерного пространства [-мерного в комплексном случае]. Мы видели, что условное математическое ожидание можно считать беровской функцией от Случайная величина у, определенная на пространстве точек имеет то же самое распределение, что и у. Следовательно, и можно рассмотреть условное математическое ожидание Пусть теперь [соответственно ] - наименьшее борелевское поле -множеств (соответственно -множеств), относительно которого измеримы величины x (соответственно величины Тогда, по определению условного математического ожидания,

Далее, из свойств отображения перечисленных в § 6, вытекает, что

и, следовательно, является одним из вариантов

В общем случае при произвольном соответствие, устанавливаемое между случайными величинами, зависящими от и случайными величинами, зависящими от таково, что отвечающие друг другу величины имеют одинаковые интегралы по соответствующим множествам и что величина отвечает величине Если (соответственно наименьшее борелевское поле, относительно которого измеримы величины х, (соответственно то множествам из отвечают множества из Функции определяются равенствами

Так как -интегралы функций от по -множествам равны -интегралам соответствующих функций от но соответствующим -множествам, то и эти два условных математических ожидания отвечают друг другу при отображении

Пусть теперь у — любая случайная величина, имеющая математическое ожидание, и произвольное борелевское поле -множеств. Мы еще не объяснили, какприменять теорию изображений и изучению в том случае, когда не является наименьшим борелевским полем, относительно которого измеримы случайные величины некоторого семейства. Однако самое общее борелевское поле может быть представлено, как такое поле; действительно, в качестве случайных величпн порождающего его семейства можно взять функции, принимающие значение 1 на некотором множестве из и вне этого множества.

Мы продемонстрируем применение приведенных выше рассуждений на доказательстве одного важного неравенства. Пусть у — действительная случайная величина, и пусть непрерывная выпуклая функция одного

действительного переменного, определенная на некотором интервале. Тогда в соответствии с неравенством Иенсена)

если только величина в правой части существует. Пусть теперь борелевское поле измеримых -множеств. Тогда, если бы условные математические ожидания вели себя так же, как и обычные математические ожидания, то с вероятностью 1 мы имели бы

если только имеют математические ожидания. Это неравенство может быть выведено и прямо из определения условных математических ожиданий, однако поучительнее использовать только что развитые методы. Мы будем предполагать, что определено на интервале содержащем множество значений величины у. Тогда тривиальным образом доказывается, что и также лежит с вероятностью 1 в интервале 1. Простейшее доказательство искомого неравенства основано на рассмотрении условного распределения величины у относительно в широком смысле. С помощью неравенство (9.7) записывается следующим образом:

для всех для которых т. е. для почти всех Мы свели, таким образом, неравенство (9.7) к неравенству Иенсена, прлмепешюму к условному распределению в широком смысле. Мы дадим также доказательство (9.7) при помощи теории изображений, чтобы показать, как в вопросах такого рода можно использовать два различных подхода: или, как мы только что сделали, использовать условные распределения в широком смысле, или же после перехода к изображениям применить настоящие условные распределения. Применив теорию изображений, мы получим представление в координатном пространстве; при этом мы будем иметь следующие три пары соответствующих друг другу функций:

Так как неравенства сохраняются при переходе к изображениям, то (9.7) эквивалентно неравенству

(которое золжно выполняться с вероятностью 1). Но поскольку у — координатная переменная и ее множеством значений является вся действительная прямая, то условные математические ожидания в (9.8) могут быть представлены, в силу теорем 9.2 и 9.5, как интегралы относительно условного распределения. Таким образом, (9.8) сводится к неравенству Иенсена, примененному к условным вероятностным мерам.

Только что проведенное нами доказательство иллюстрирует тот факт, что несмотря на существование патологических примеров, из-за которых нельзя утверждать, что всегда условные вероятности могут быть использованы для определеппя условного распределения вероятностей и что

условные математические ожидания могут всегда вычисляться как обычные интегралы по пространству точек тем не менее для многих целей с условными вероятностями и математическим ожиданиями можно обращаться так, как будто бы таких примеров не существовало.

Однако остается справедливым и то, что некоторые теоремы об условных вероятностях и математических ожиданиях могут быть выведены прямыми методами так же легко, как и при помощи теории изображений. Теория изображений делает в таких случаях эти теоремы очевидными. Следующая теорема дает пример такой возможности.

Пусть поле -множеств, и пусть — борелевское поле, порожденное Тогда любые две меры на множествах совпадающие на множествах из совпадают и на (см. дополнение, теорема 2.1) и, следовательно, определяют одинаковые интегралы от функции, зависящих от Для условных вероятностей этот факт менее очевиден, однако все же остается верным.

Теорема 9.6. Пусть борелевские поля -множеств, — поле -множеств и -борелевское поле, порожденное 30. Тогда, если при любом с вероятностью 1

то для любой функции измеримой относительно или же равной с вероятностью 1 функции, измеримой относительно 3, и такой, что с вероятностью 1 имеет место равенство

В класс измеримых множеств для которых (9.9) выполнено с вероятностью 1, входит 30, а также, согласно свойству из § 8, пределы монотонных последовательностей, входящих в этот класс множеств. Следовательно, в силу теоремы 1.2 дополнения, в этот класс входит все Этот класс должен тогда включать и все множества, отличающиеся от множеств из на множества вероятности 0. В результате (9.10) оказывается теперь непосредственным следствием выражения условных математических ожиданий через условные вероятности, которое дает теорема 8.4.