Гауссовские случайные процессы

В этом параграфе дается краткое описание гауссовских случайных процессов и показывается, почему они так часто являются разумной моделью для реальных шумов. Случайный процесс можно представлять себе как множество функций с вероятностной мерой, заданной на этом множестве. Точнее, процесс можно задать как совокупность случайных величин каждая отдельная случайная величина соответствует каждому действительному значению параметра Одним из методов задания случайного процесса служит правило, которое

каждому конечному множеству моментов времени относит совместную функцию распределения случайных величин При каждом выборе действительных чисел это распределение является вероятностью того, что Случайный процесс называется стационарным, если вероятностная мера инвариантна относительно сдвига во времени или, точнее, если для каждого конечного множества моментов времени , для каждого интервала времени Т и для каждого выбора действительных чисел имеем

Говорят, что среднее значение случайного процесса равно нулю, если для каждого математическое ожидание равно нулю. В дальнейшем будут рассматриваться лишь процессы с нулевым средним. В действительности это не приводит здесь к потере общности, так как произвольный случайный процесс может быть разбит на две части: где детерминированная функция (хотя не обязательно из случайный процесс с нулевым средним.

Автокорреляционной функцией случайного процесса называется функция двух действительных переменных, определяемая равенством

Автокорреляционная функция случайного процесса, очевидно, не дает полного описания процесса, однако, как сейчас будет показано, описание с ее помощью достаточно для ответа на вопросы, касающиеся линейной фильтрации случайных процессов.

Предположим, что линейный инвариантный во времени фильтр имеет импульсный отклик Под этим понимается, что функция на выходе фильтра равна свертке функции на входе с следовательно, если вход — случайный процесс то выход — другой случайный процесс определяемый равенством

Тогда автокорреляционная функция задается равенством

Изменяя порядок интегрирования и математического ожидания, получаем

Следовательно, корреляционная функция случайного процесса на выходе линейного инвариантного во времени фильтра определяется по корреляционной функции случайного процесса на входе. Если случайный процесс стационарный, то функция только разности выражается как функция только одного переменного Случайный процесс называется стационарным в широком смысле, если его автокорреляционная функция является функцией только Из (8.1.32) легко заметить, что если стационарен в широком смысле, то также стационарен в широком смысле. Если стационарен в широком смысле, то (8.1.32) можно интерпретировать как свертку и полученного результата с Поэтому если определить спектральную плотность мощности стационарного в широком смысле случайного процесса как преобразование Фурье и ввести частотную характеристику фильтра, то получим

Для истолкования смысла спектральной плотности мощности определим мощность стационарного в широком смысле случайного процесса как Так как преобразование Фурье то имеем

Если равно единице в узкой полосе частот и нулю в других точках, то мощность на выходе фильтра равна интегралу от по этой узкой полосе, и физически можно интерпретировать как плотность мощности на единицу полосы частот на частоте

Рассмотрим теперь кратко реальные физические шумы и выясним, почему часто они адекватно могут моделироваться с помощью одного частного класса случайных процессов, называемых гауссовскими случайными процессами. Для многих шумов, по существу, равна нулю физическая связь между значениями шума в любые два момента времени, отделяемые более чем очень малым интервалом А, который называется временем когерентности шума. При создании моделирующего шум случайного процесса целесообразно принять, что шум приближенно статистически независим в два момента времени, отделенных более чем интервалом Следовательно, если такой шум подается на вход фильтра с импульсным откликом и если существенно отличен от нуля на интервале, много большем чем то на основании

центральной предельной теоремы следует ожидать, что отклик фильтра в любой заданный момент времени вполне можно моделировать гауссовской случайной величиной. Если А столь мало, что это предположение приемлемо для всех интересующих нас фильтров, то модель шума как случайного процесса можно упростить, приняв, что выход любого линейного фильтра в любой данный момент времени является гауссовской случайной величиной. Такой случайный процесс известен как гауссовский. Более точно, случайный гауссовский процесс с нулевым средним определяется как процесс, обладающий тем свойством, что для любой функции из значение является гауссовской случайной величиной с нулевым средним и конечной дисперсией. Для ранее рассмотренных случайных процессов этот интеграл можно понимать обычным образом. Однако здесь желательно рассмотреть несколько более широкий класс случайных процессов, включающий белый гауссовский случайный процесс (или белый гауссов шум), который определяется на основе того свойства, что для любой функции из гауссовская случайная величина с нулевым средним и дисперсией

где постоянная, независящая от Как мы увидим далее, этот процесс столь «дикий», что его нельзя определить как совокупность случайных величин, каждая из которых соответствует одному из значений параметра Вместе с тем, все что будет нужно в последующем изложении — это случайные величины следовательно, случайный процесс будем считать определенным, если имеется правило, задающее случайную величину для всех функций из При таком подходе нет нужды беспокоиться о том, что означает указанный выше интеграл или каким образом определить как совокупность случайных величин параметра Указанный выше подход подобен тому, который используется при рассмотрении обобщенных функций, когда обобщенные функции не определяются через их значения для каждого значения аргумента, а вместо этого они определяются через интеграл от их произведения на каждую функцию из подходящим образом определенного класса функций. По этой причине белый гауссов шум обычно называют обобщенным случайным процессом. Следующее условие линейности должно быть наложено на случайные величины для любого множества постоянных и любого множества функций из требуется, чтобы

Для гауссовских случайных процессов с нулевым средним значением случайные величины и случайная величина имеют нулевое среднее и являются гауссовскими. Следовательно, любая линейная комбинация гауссовских случайных величин также является гауссовской случайной величиной. Множество случайных величин, для которых каждая конечная линейная комбинация гауссовская, называется множеством совместно гауссовских случайных величин так, что множество рассмотренное выше, является множеством совместно гауссовских случайных величин.

Можно легко найти совместную характеристическую функцию и совместную плотность вероятности множества совместно гауссовских случайных величин Совместная характеристическая функция равна по определению

Пусть случайная величина у равна

Так как у — гауссовская величина с нулевым средним, то ее характеристическая функция равна

где -дисперсия у,

Заметив, что составляет правую часть (8.1.37), можно подставить в (8.1.38) и получить

Так как совместная характеристическая функция является многомерным преобразованием Фурье совместной плотности вероятности случайных величин то совместную плотность вероятности можно найти преобразованием, обратным преобразованию Фурье (8.1.39). Получаем

где матрица с элементами определитель матрицы алгебраическое дополнение элемента матрицы Если то некоторая линейная комбинация имеет нулевую

дисперсию и совместная плотность вероятности существует только в смысле -функций. Важно заметить, что совместная плотность определяется только через множество коэффициентов корреляции Если для , то можно увидеть, что представляется произведением Таким образом получаем важный результат, что, если совместно гауссовские случайные величины с нулевым средним некоррелированы для то они статистически независимы.

Для белого гауссова шума этот результат имеет интересное следствие, состоящее в том, что если ортогональны, то образуют множество статистически независимых случайных величин. Для того чтобы увидеть это, следует заметить, что

Раскрывая скобки и опуская члены в квадрате, получаем

Теперь пусть полное множество ортонормальных функций и пусть для гауссовского процесса с нулевым средним множество совместно гауссовских случайных величин, задаваемых равенством Тогда для произвольной функции из

имеем

где предел понимается в том смысле, что

Из этого следует, что гауссовский процесс с нулевым средним полностью определяется коэффициентами корреляции приведенного выше разложения. Для белого гауссова шума где и равно 1 для и равно 0 для

Теперь предположим, что гауссовский процесс с нулевым средним и что также определяется в виде совокупности

случайных величин параметра Тогда для полного множества ортонормальных функций коэффициент корреляции задается равенством

Отсюда видно, что рассматриваемый процесс полностью определяется автокорреляционной функцией

Далее покажем, что если непрерывная функция, то для каждого гауссовская случайная величина с нулевым сред ним. Для любого данного определим по формуле

и положим Для каждого имеем: гауссовская случайная величина с нулевым средним, следовательно,

Так как непрерывна, то стремится к нулю при стремящимся к следовательно,

Отсюда видно, что гауссовская случайная величина с нулевым средним. Слегка обобщая это доказательство и рассматривая линей комбинации можно увидеть, что является множеством совместно гауссовских случайных величин. Обратно, можно показать [Давенпорт и Рут (1958)], что если случайный процесс имеет непрерывную автокорреляционную функцию и если для любого множества моментов времени средние значения случайных величин равны нулю и эти величины являются совместно гауссовскими, то гауссовский случайный процесс с нулевым средним (в смысле первоначального определения).

Теперь рассмотрим прохождение гауссовского случайного процесса с нулевым средним через линейный инвариантный во времени фильтр с импульсным откликом из Получающийся случайный процесс также является гауссовским случайным процессом с нулевым средним, так как для любого множества моментов времени случайные величины имеют нулевые средние и являются совместно гауссовскими (для доказательства того, что имеет непрерывную автокорреляционную функцию, см. задачу 8.5),

В частом случае, когда белый гауссов шум, процесс весьма просто характеризуется. Используя те же самые рассуждения, как и при выводе (8.1.41), имеем

Следовательно, является стационарным процессом с автокорреляционной функцией

Полагая обозначая через преобразование Фурье и вспоминая, что [см. (8.1.23)], имеем

Сравнивая это равенство с (8.1.34), можно заметить, что имеет смысл спектральной плотности мощности белого гауссова шума. Из этого видно, что случайный процесс, называемый белым гауссовым шумом, является разумной моделью для шума, который имеет почти постоянную спектральную плотность в интересующей нас области частот. Предположение, что спектральная плотность постоянна на всех частотах, сильно упрощает вычисление для этой модели. Формально автокорреляционная функция белого гауссова шума является обратным преобразованием Фурье от и равна импульсу со значением Это означает, что если возникает желание истолковать как совокупность случайных величин параметра то приходится признать, что дисперсия при каждом должна быть бесконечной. К тому же заключению можно прийти, основываясь на соотношениях (8.1.44) и (8.1.45) для Это явление способствует пониманию, почему мы сосредоточиваем внимание на линейных операциях случайного процесса, а не на случайных величинах, зависящих от времени. На случайные величины параметра часто сильно влияет спектральная плотность мощности той области частот, которая не представляет физического интереса, и поэтому часто имеется весьма малая связь между реализациями шума и выборочными функциями (во времени) случайного процесса, являющегося моделью шума.