§ 3. Общее определение проекции

Пусть - конечная или бесконечная последовательность случайных величин. Если

то говорят, что эти случайные величины образуют ортонормарованную последовательность. Если и если законно почленное интегрирование, то Естественно поэтому сопоставить каждой случайной величине х ряд с коэффициентами определенными таким способом. Мы будем писать

Коэффициенты называются коэффициентами Фурье случайной величины х, а знак означает просто, что х соответствует указанному ряду, называемому рядом Фурье величины х относительно заданной ортонормированной последовательности. Мы уже отмечали, что если некоторый ряд 2 сходится к х а если этот ряд является «хорошим» (например, если он содержит только конечное число членов), то обязательно будут коэффициентами Фурье величины х. Ряд Фурье для х моягет, однако, сходиться к величине, отличной от х. Например, в случае равномерного распределения вероятностей (т. е. постоянной плотности) на отрезке случайные величины

образуют ортонормированную последовательность. Функция является случайной величиной, все коэффициенты Фурье которой обращаются в нуль:

Пусть -конечная или бесконечная последовательность случайных величин (среди которых хотя бы одна отлична от на множестве положительной меры). Эту последовательность можно ортогопализовать, т. е. можно найти ортонормированную последовательность случайных величин обладающую тем свойством, что каждое является линейной комбинацией величин и наоборот. Тогда линейное многообразие, порожденное величинами будет созпадать с лшгеннкм многообразием, порожденным величинами Мы опишем кратко метод

ортогонализации. Отбросив те из величин которые являются линейными комбинациями предыдущих, мы можем предположить, что линейно независимы. Определим равенством

Легко проверить, что является линейной комбинацией величин и что ортогонально к а следовательно, ортогонально и к Поскольку линейно независимы, то поэтому можно положить

Пусть совокупи ость случайных величин, равных одновременно нулю почти всюду, и пусть линэйноэ многообразие, порожденное величинами состоящее из есэх линейных комбинаций вида Ортогонализуя величины мы получим я случайных величин входящих в и образующих ортонормпрованную последовательность, порождающую Если линейно независимы, то Любая случайная величина х из может быть записана в виде

где, как мы уже видели, должны быть коэффициентами Фурье случайной величины х. Если другая случайная величина из этого многообразия,

то

Таким образом, каждой случайной величине х сопоставляется вектор с комплексными компонентами, и расстояние между случайными величинами оказывается обычным евклидовым расстоянием между концами соответствующих векторов. Линейные комбинации случайных величин переходят в такие же линейные комбинации соответствующих векторов, так что линейному многообразию случайных величин соответствует линейное многообразие векторов, т. е., говоря геометрически, — гиперплоскость, проходящая через начало координат. Замкнутому линейному многообразию случайных величин, очевидно, соответствует замкнутое векторное линейное многообразие. В частности, многообразию соответствует все векторное пространство; следовательно, многообразие замкнуто. Далее,

так что ортогональные случайные величины соответствуют ортогональным векторам. Случайным величинам соответствуют координатные векторы

Для любой случайной величины из коэффициент является в терминах векторов компонентой вектора, соотвзтствующего

переходит в проекцию этого вектора на координатный вектор. И вообще, если линейное многообразие случайных величин, порожденное величинами то ряд Фурье для величины х относительно величин переходит в проекцию вектора, соответствующего на гиперплоскость, соответствующую Эта геометрическая картина помогает понять приводимые ниже замечания, в которых предполагается, что и определены, как и выше, но, кроме того, рассматриваются и случайные величины, не входящие в

Если любая случайная величина и если

то в случае, когда принадлежит с вероятностью 1 будет Далее, в любом случае выполняются следующие соотношения:

Это соотношение проверяется прямым вычислением.

Для доказательства нужно лишь вычислить в -мерном случае это попросту теорема Пифагора. В частности,

Это неравенство называется не равенством Бесселя.

в) Случайные величины имеют один и тот же ряд Фурье. Следовательно, разность ортогональна к каждой из величин а значит, и к любой случайной величине из Обратно, если принадлежит и если ортогонально к каждому то с вероятностью 1. Действительно, тогда имеют одни и те же коэффициенты Фурье, так что (входящее в Ж) равно сумме того же самого ряда Фурье, что и

г) Случайная величина принадлежит и является ближайшей к х случайной величиной, принадлежащей (мы считаем, что случайные величины совпадают, если они равны с вероятностью 1). Действительно, «ели также входит в то разность содержится в и, следовательно, ортогональна к Поэтому

причем равенство имеет место тогда и только тогда, когда с вероятностью 1.

В гл. II мы назвали величину условным математическим ожиданием в широком смысле величины относительно

Мы будем иногда писать

причем здесь можно вместо поставить любую совокупность случайных величин, порождающих это замкнутое лннлшое многообразие.

До сих пор мы исключали два следующих тривиальных случая: случай, когда не содержит ни одной случайной величины, и случай, когда оно

состоит из единственной случайной величины, обращающейся в нуль почти всюду. В этих случаях мы положим

Пусть бесконечная последовательность случайных величин, порождающая замкнутое линейное многообразие Ортогонализуя последовательность мы получим ортонормированную последовательность содержащуюся в линейном многообразии, порождаемом последовательностью и также порождающую Мы предположим, что существует бесконечно много линейно независимых величин тогда и последовательность будет бесконечной. (Иначе мы имели бы случай, рассмотренный выше.) Мы хотим показать, что все рассуждения, проведенные ранее, переносятся и на этот случай. Чтобы показать это, заметим, что если то неравенство Бесселя

по прежнему выполняется, так как оно выполнено для любого конечного числа величин Мы покажем теперь, что любая случайная величина х на йожет быть записана в виде

где и сумма ряда понимается в смысле сходимости в среднем, т. е.

Мы покажем также, что и обратно, если то сходится и среднем к случайной величине, входящей в коэффициенты Фурье которой равны а.. Докажем сперва, что если сходится в среднем, воспользовавшись критерием Коши для сходимости в среднем. Действительно,

и последняя сумма стремится к при Ряд обладает, таким образом, суммой, которая заведомо входит в Обратно, если х принадлежит и еслп в неравенства Бесселя так что этот ряд Фурье сходится (в среднем) к некоторой случайной величине содержащейся в При этом величина имеет те же самые коэффициенты Фурье, что и величина х, так как при

последний член этой формулы равен 0, так как величина ортогональна к а следовательно, и к сумме входящей в замкнутое линейное многообразие, порождаемое величинами Мы

доказали, таким образом, что имеет своим рядом Фурье 0, так что ортогонально к а следовательно, и к В частности, величина ортогональна самой себе,

т. е. почти всюду. Тем самым доказано, что если х принадлежит то х является суммой своего ряда Фурье (в смысле сходимости в среднем).

Таким образом, (3.2) справедливо и в случае бесконечного ряда. Верны для бесконечного ряда и утверждения Так как эти утверждения основываются на самом деле только на (3.2), то их доказательства не претерпевают никаких изменений.

Мы уже определили символ в случае, когда порождается конечным числом случайных величин. Если не может быть порождено никаким конечным числом величин, но порождается некоторой бесконечной счетной последовательностью, то аналогично конечномерному случаю мы определим как ближайшую к х случайную величину принадлежащую Отметим, что из этого геометрического определения следует, что не зависит от выбора ортонормированной последовательности в Случайную величину называют иногда проекцией х на Мы уже видели, что с точки зрения, принятой в этой книге, она является условным математическим ожиданием в широком смысле случайной величины х относительно величин из Проведенные выше построения легко обобщить на случай, когда не порождается никакой счетной последовательностью. Иногда нам будет удобно заменять в обозначении какой-нибудь совокупностью случайных величин, порождающей Это согласуется с нашим первоначальным определением как некоторой линейной комбинации величин

Покажем еще, что символ удовлетворяет тем же функциональным соотношениям, что и (в дальнейшем подразумевается, что выписываемые соотношения выполняются не тождественно, а лишь с вероятностью 1). Во-первых,

Эти соотношения следуют, например, из свойства линейности коэффициентов Фурье. Во-вторых, для того чтобы получить аналог соотношения (10.8) гл. I, покажем, что если и две любые совокупности случайных величин (с конечными вторыми моментами) и то

Для этого достаточно доказать, что

Но является случайной величиной, ортогональной к замкнутому линейному многообразию, порожденному Следовательно, проекция этой величины на равна 0, что и надо было доказать.

Заметим, наконец, что если ортогонально к то

Отсюда следует, что не изменится, если присоединить к случайные величины, ортогональные к если заменить любую совокупность случайных величин, входящих в единственной случайной величиной