§ 3. Гауссовские процессы; понятия в узком и в широком смыслах

Вероятностный процесс называется гауссовским, если все совместные распределения вероятностей для любой конечной совокупности величин являются гауссовскими. Гауссовские процессы очень важны как теоретически, так и в прикладных вопросах, и они заслуживают поэтому отдельного рассмотрения. Следующая теорема показывает, как определяется наиболее общий гауссовский процесс.

Теорема 3.1. Пусть произвольное конечное или бесконечное множества произвольная функция от -функция от удовлетворяющая следующим условиям и

(б) если любое конечное множество значений из то матрица является неотрицательно определенной.

Тогда существует гауссовский вероятностный процесс для которого

Если функции действительны, то существует действительный гауссовский процесс, удовлетворяющий соотношениям (3.1). В любом случае существует комплексный гауссовский процесс, удовлетворяющий соотношениям (3.1), а также условию

Предположим, что действительные функции и что удовлетворяет условиям и теоремы. Для любого конечного -множества существует -мерное гауссонское распределение вероятностей со средними значениями и матрицей центральных вторых моментов Это распределение имеет следующую характеристическую функцию:

Если матрица невырождена, то плотность этого распределения равна

где матрица с определителем является обратной к матрице Если то распределение, заданное характеристической функцией (3.3), показывает, что неличины имеют гауссовское распределение со средними значениями и матрицей центральных вторых моментов где Следовательно, здесь выполняются условия согласованности Колмогорова (см. гл. I, § 5). Поэтому существует действительный гауссовский процесс, удовлетворяющий условиям (3.1) и имеющий своим -пространством некоторое координатное пространство. Использованные в этом рассуждении распределения вероятностей, очевидно, однозначно определяются заданными математическими ожиданиями и вторыми моментами.

Мы завершим теперь доказательство, отбросив предположение о том, что процесс является действительным, и построим гауссовский процесс,

удовлетворяющий условиям (3.1) и (3.2). Ясно, что процесс однозначно определяется этими условиями, или, точнее, этими условиями однозначно определяются все конечномерные распределения вероятностей процесса. Заметим, что в силу этих условий

Следовательно, процесс может быть действительным лишь в тривиальном случае, когда действительно и в этом случае

Определим теперь вещественные случайные величины которые удовлетворяли бы соотношениям

При из соотношений (3.5) вытекают (3.1) и (3.2). Чтобы доказать существование процессов мы воспользуемся доказанным только что предложением, касающимся действительных процессов. А именно, мы покажем, что матрица центральных вторых моментов, определяемая соотношениями (3.5) для любого конечного набора величин и симметрична и неотрицательно определенна. Не ограничивая общности, можно рассматривать лишь пары соответствующих друг другу неличин и т. е. лишь совокупности неличин

и изучать соответствующие -мерные матрицы вторых моментов определяемые из (3.5). Эти матрицы являются, очевидно, симметричными. Далее, если — действительные числа, то

так как матрица неотрицательно определенна. Следовательно, неотрицательно определенна также и матрица что и требовалось доказать.

Доказанная теорема может быть использована для получения гауссовского процесса, тесно связанного с данным процессом с точки зрения,

первых и вторых моментов. Так, например, н силу этой теоремы для любого заданного процесса у, существует гауссовский процесс с темп же самыми средними значениями и вторыми моментами. Отсюда ясно, что при рассуждениях, касающихся только первых и вторых моментов, не будет ограничением предположить, что процесс у, является гауссовским. Еслп процесс у, действителен, то соответствующий процесс также можно считать действительным. В этом случае, если две неличины у, при некоторых некоррелированны между собой, то соответствующие величины х, будут независимы. В общем случае (при комплексных процесс может быть выбран так, чтобы выполнялось соотношение (3.2); тогда некоррелированным у, также будут соответствовать независимые Если процесс у, не является действительным, то процесс х, также не будет действительным, и задание математических ожиданий и вторых моментов величин у, здесь не определяет однозначно распределений величин Одним из проявлении этой неоднозначности является возможность потребовать выполнения дополнительного условия (3.2).

Теорема 3.2. Пусть вероятностный процесс, у которого

область значений параметра здесь может быть любым конечным или бесконечным множеством. Тогда существует соответствующий гауссовский процесс с той же самой областью значений параметра (но определенный на другом пространстве со своей вероятностной мерой), удовлетворяющий соотношениям

Если процесс действительный, то сугцествует действительный процесс удовлетворяющий (3.7). В любом случае существует комплексный гауссовский процесс, удовлетворяющий (3.7) и дополнительному условию

Если оба процесса у, и х, являются действительными или же еслц выполнены оба соотношения (3.7) и (3.8), то из ортогональности величин следует независимость соответствующих

Если заменить выше на то из некоррелированности величин будет следовать независимость соответствующих

И вообще, если любые случайные величины, входящие в замкнутое линейное многообразие, определяемое величинами и если соответствующие случайные величины в замкнутом линейном многообразие, определяемом величинами то из выполнения (3.7) при всех следует, что

и из выполнения при всех соотношения (3.8) следует, что

Применяя эту теорему к действительным и мнимым частям случайных величин являющихся значениями заданного комплексного процесса, мы получим, что существует комплексный гауссовский процесс, у которого его действительная и мнимая части имеют те же самые вторые моменты; что и действительная и мнимая части заданного процесса. В этом случае выполнены соотношения (3.7) и, кроме того,

Однако полное совпадение всех вторых моментов, выражаемое соотношениями (3.9) и (3.7), не является полезным, так как при этом нарушается соответствие между ортогональностью и независимостью.

Для доказательства теоремы 3.2 достаточно заметить, что если то и при любом выборе комплексных чисел

так что если положить то будут выполняться все предположения теоремы 3.1. Обобщение предыдущей теоремы, состоящее в утверждениях (3.7) и (3.8), тривиально, поскольку эти утверждения очевидны для случая, когда являются линейными комбинациями величин общий случай доказывается затем при помощи перехода к пределу. На абстрактном языке наша теорема утверждает, что существует линейное преобразование, переводящее замкнутое линейное многообразие, определяемое величинами в замкнутое линейное многообразие, определяемое величинами преобразующее при каждом величину и оставляющее инвариантным скалярное произведение (т. е. унитарное преобразование).

Одна из причин важности гауссовских процессов состоят в значительном упрощении, которое гипотеза гауссовости вносит, в теорию приближений по методу наименьших квадратов. Пусть случайные величины х и у имеют двумерное гауссовское распределение с нулевыми математическими ожиданиями. Мы предположим, что или действительны, или же, если это не так, то они удовлетворяют соотношению Тогда разность

имеет нулевое математическое ожидание и является случайной величиной, ортогональной и некоррелированной с величиной х. Следовательно, она не зависит от х. Отсюда вытекает, что условное распределение величины у при заданном х является гауссовским с математическим ожиданием и дисперсией

В силу неравенства Шварца величина, стоящая в скобках, заключена между и 1. И в более общем случае, если величины имеют многомерное гауссовское распределение с нулевыми математическими ожиданиями и если эти случайные величины или действительны, или удовлетворяют соотношениям

то разность

имеет нулевое математическое ожидание и некоррелиронана со всеми случайными величинами при соответственным образом подобранных (см. гл. IV, § 3), а следовательно, и не зависит от них. Отсюда вытекает, что условное распределение у при заданных является гауссовским с математическим ожиданием

Разность в не зависит от любой функции измеримой относительно семейства величин (в частности, от любой беронской функции этих величин), и, следовательно, ортогональна к если интегрируема в квадрате. Поэтому

Это равенство означает, что задача минимизации левой части (3.13), т. е. задача наилучшего приближения по методу наименьших квадратов, имеет своим решением функцию равную условному математическому ожиданию (3.12), и что это решение однозначно с точностью до обычного произвола в определении условного математического ожидания. Гауссовский характер распределений дал нам возможность вынести независимость из некоррелированности. Если мы предположим только, что являются случайными величинами, у которых

то разность (3.10) с вычисленными так же, как и раньше, останется ортогональной к однако (3.13) вытекает отсюда, лишь если является линейной комбинацией величин Таким образом, случайная величина которую мы будем обозначать через решает задачу минимизации левой части (3.13) лишь при условии, что в качестве допускаются только линейные комбинации неличин т. е. задачу о наилучшем линейном приближении по методу наименьших квадратов.

В последующих главах нам будет необходимо обобщить приводившиеся выше рассмотрения на случай бесконечного числа неличин х, (см. гл. IV и гл. XII).

Многие понятия, используемые в теории вероятностных процессов, могут быть сформулированы двумя способами: «н широком смысле» и «в узком смысле». Общий принцип состоит здесь в следующем. Предположим, что процесс у, обладает некоторым свойством выраженным в терминах вторых моментов. Предположим, что комплексный гауссовский процесс, определенный согласно теореме 3.2 и удовлетворяющий

соотношенпям (3.7) и (3.8), обладает соответствующим, но более сильным свойством Тогда называется свойством в широком смысле, свойством в узком смысле. (Если процесс у, действителен, то в качестве соответствующего гауссовского процесса можно взять действительный гауссовский процесс, удовлетворяющий (3.7), однозначно определенный в силу теоремы 3.2.) Всегда из свойств в широком смысле вытекает много больше, если предположить дополнительно, что рассматриваемые распределения являются гауссовскими. Мы увидим дальше, что очень многие теоремы имеют, два варианта: в широком смысле и в узком смысле, и что такое разграничение помогает внесению ясности и упорядочению теории вероятностных процессов.

Пример 1. Пусть взаимно ортогональные случайные величины. Мы примем это утверждение за свойство в широком смысле и, чтобы установить соответствующее свойство в узком смысле, заметим, что если процесс определен, как в теореме 3.2, то величины нззависимы. Таким образом, процесс с взаимно ортогональными значениями (или с взаимно некоррелированными значениями, если вместо рассматривать является процессом с независимыми значениями в широком, смысле.

Пример 2. Проведенный выше анализ метода наименьших квадратов показывает, что наилучшее линейное приближзние по методу наименьших квадратов является вариантом в широком смысле просто наилучшего приближения по методу наименьших квадратов. Мы дополним этот анализ, вычислив наилучшее приближзние по методу наименьших квадратов в негауссовском случае. Предположим, что — любые случайные величины, причем и положим

Тогда

и из теоремы 8.3 гл. I следует, что ортогонально к любой функции с интегрируемым квадратом, измеримой относительно выборочного пространства неличин Следовательно,

так что задача минимизации левой части этого равенства решается, если положить Таким образом, нариантом в узком смысле величины является Эта последняя величина определена для любого семейства аппроксимирующих случайных величин, конечного или бесконечного, и всегда решает соответствующую задачу о приближении по методу наименьших квадратов, так как (3.13) не претерпевает в общем случае никаких изменений. Символ будет определен для бесконечных семейстн аппроксимирующих неличин в гл. IV. Правила обращения с этим символом те же, что и с симнолом так как эти два символа совпадают для действительных гауссовских случайных величин (и для комплексных гауссовских случайных неличин, если только математическое ожидание произведения любой пары из этих неличин будет равно нулю).

За исключением теорем, являющихся вариантами в узком смысле некоторых теорем в широком смысле, нзнестно очень мало фактов, верных

специально для гауссовских процессов. По этой причине ни одна из последующих глан не будет посвящена специально гауссовским процессам, хотя в дальнейшем будут изучены многие типы гауссовских процессов.