ГЛАВА ВТОРАЯ. СООБЩЕНИЯ, СИГНАЛЫ, ПОМЕХИ

2.1. СООБЩЕНИЯ, СИГНАЛЫ И ПОМЕХИ КАК СЛУЧАЙНЫЕ ПРОЦЕССЫ

Как уже отмечалось в § 1.1, детерминированное, т. е. заранее известное, сообщение не содержит информации. Поэтому в теории связи источник сообщения следует рассматривать как устройство, осуществляющее выбор из некоторого множества возможных сообщений. Каждая конкретная реализация сообщения возникает с определенной вероятностью, которая в общем случае зависит от того, какие сообщения передавались раньше. Точно так же и посылаемая в капал реализация сигнала является элементом некоторого множества, выбираемого с определенной вероятностью.

Множество, на котором задана вероятностная мера, называют ансамблем. Ансамбли сообщений и сигналов могут быть конечными (в дискретном случае) или бесконечными.

Ансамбль функций времени является случайный процессом. Каждая входящая функция называется выборочной функцией или реализацией процесса. Наличие различных реализаций позволяет сигналу переносить информацию. Для этого нужно установить соответствие между каждым сообщением из ансамбля сообщений и определенной реализацией сигнала. Тогда по принятой реализации сигнала можно судить о том, какое сообщение передавалось. Это суждение было бы точным, если бы переданный сигнал не искажался помехами. В действительности помехи являются также случайными процессами, и поэтому по принятому сигналу можно лишь с некоторой вероятностью определить, какое сообщение было передано.

Итак, сообщения, сигналы, помехи являются случайными процессами и для их исследования необходимо использовать основные положения теории случайных процессов (случайных функций). Все содержание данной главы относится в равной степени к случайным сообщениям, сигналам и помехам

Случайный процесс может быть задан на дискретном множестве значений Это случай сообщения (сигнала), дискретного по времени. Такие случайные процессы называются также случайными последовательностями. Примером случайной последовательности является процесс заданный на дискретных точках и принимающий в каждой из них значение 1 с вероятностью и 0 с вероятностью независимо от значений в других точках. Чаще встречаются процессы, непрерывные по времени, например, заданные на всей оси или на конечном отрезке и т. п. Процессы, заданные на конечном отрезке времени, называются финитными.

Задать детерминированную (т. е. не случайную) функцию времени — это значит указать ее значение для любого в пределах области определения. Случайную функцию можно задать только в вероятностном смысле. Если число реализаций конечно или счетно, можно их попросту перечислить и указать их вероятности.

Рассмотрим, как задаются дискретные случайные последовательности элементов могущие принимать различных значений Реализацией такой последовательности может быть, например, где нижний индекс обозначает значение элемента, а верхний — момент времени. Отрезок такой последовательности длины (т. е. состоящий из элементов) характеризуется своей вероятностью На основании теоремы умножения вероятностей можно в общем случае записать вероятность

отрезка реализации, в которой элементы принимают значения

Здесь условная вероятность появления элемента и момент при условии, что в предыдущие моменты осуществлялась реализация отрезка

Примером такой последовательности может служить последовательность букв, передаваемых по телеграфу. Хотя для этого случая определить вероятность отрезка нелегко, но качественно сравнить вероятности различных отрезков можно без особого труда. Так, при последовательность букв «ВЫЕЗЖАЮ» более вероятна, чем последовательность «ГРАНАТА», которая, в свою очередь, вероятнее, чем последовательность «МАФТУЗА». Последняя все же вероятнее; чем последовательность для которой вероятность появления в осмысленном русском тексте равна пулю. На этом примере, между прочим, легко убедиться, что условная вероятность появления некоторой буквы зависит от ранее переданных букв.

Простейший вид случайной последовательности элементов отличается тем, что появление того или иного элемента не зависит от предыдущих элементов. Для такой последовательности независимых элементов (или последовательности Бернулли)

Важным видом случайной последовательности зависимых элементов является цепь Маркова. Простой цепью Маркова называется последовательность, в которой условная вероятность появления некоторого элемента целиком определена, если известен предыдущий элемент Это значит, что

Таким образом, в простой цепи Маркова связь между последовательными элементами целиком определяется зависимостью между соседними элементами. Для вычисления вероятности некоторого отрезка цепи Маркова достаточно знать переходные вероятности, т. е. все условные вероятности появления элемента если предыдущим элементом был Заметим, что это вовсе не означает независимости от или от еще более ранних элементов. Поскольку вероятность появления зависит от того, каким был элемент а последний зависит от то имеет место и зависимость от если значение неизвестно. Нетрудно показать, что

Обобщением простой цепи Маркова является сложная марковская цепь порядка, в которой вероятность элемента целиком определена, если известны предшествующих ему элементов. Марковская цепь высокого порядка является удовлетворительной математической моделью текстовых последовательностей в приведенном выше примере.

Непрерывные случайные функции также могут иметь конечное число реализаций на конечном интервале времени. Для их задания также достаточно указать их вероятности.

Так, например, процесс заданный на интервале и имеющий две реализации:

возникающие с вероятностями где определенные постоянные, является простым примером случайного процесса с конечным числом реализаций. может служить сигналом, информационное содержание которого определяется значением частоты

Примером процесса, заданного на том же интервале и имеющего бесконечное число реализаций, может служить процесс

где А и со — постоянные неслучайные величины, случайная величина с заданным распределением вероятностей. Такой процесс может иметь счетное число реализаций (например, если принимает значения с вероятностями или несчетное (например, если величина равномерно распределена на интервале Довольно часто приходится рассматривать процессы, определенные рядом

где обычные (детерминированные) функции, а случайные величины с заданным распределением вероятности. Сходимость ряда понимается в среднеквадратичном смысле, т. е. при всех

Символ здесь и в дальнейшем обозначает математическое ожидание.

В общем случае скалярный случайный процесс полностью задан, если для любого набора моментов времени и любых значений можно вычислить вероятность того, что принимает в указанные моменты времени значения, не превышающие соответственно

Здесь обозначает совместную вероятность событий, записанных в скобках. Заметим, что представляет собой случайную величину и называется сечением случайного процесса в момент

Функцция в (2.9) называется -мерной функцией распределения вероятности процесса. Ее аргументами являются Величины являются

параметрами. Следует подчеркнуть, что случайный процесс полностью задан в том случае, если для любого и для любых моментов области его определения) можно найти функцию распределения.

На рис. 2.1 представлены четыре реализации некоторого случайного процесса и показаны три его сечения. Реализации 1 и 2 удовлетворяют условию где значения сечений, отмеченные на рисунке точками, а реализации 3 и 4 этому условию не удовлетворяют. Если других реализаций данный процесс не имеет, то трехмерная функция распределения при заданных сечениях равна сумме вероятностей реализаций 1 и 2.

Рис. 2.1. Реализация случайного процесса

Если существуют частные производные функции распределения по всем то можно определить -мерную плотность распределения вероятности:

которая также полностью определяет процесс, если она известна для любого числа любых сечений

Пусть например,

где постоянные, определенные выбором сечений и связанные между собой некоторыми зависимостями, на которых сейчас останавливаться не будем. В частности, при

одномерную плотность распределения можно записать следующим образом:

Здесь соответствует коэффициенту коэффициенту в формуле (2.11).

Процесс, у которого любая -мерная плотность распределения вероятностен выражается формулой (2.11), называется нормальным, пли гауссовским. Нормальные процессы играют исключительно важную роль в теории передачи сигналов. Так, в § 1.3 уже говорилось, что флуктуационные помехи, в частности, вызванные тепловым движением электронов, являются нормальными. Из центральной предельной теоремы вероятности известно, что при некоторых ограничениях сумма большого числа разных процессов образует процесс, очень близкий к гауссовскому.

Часто случайный процесс можно определить через другой случайный процесс с известными функциями распределения, например

где нормальные процессы, заданные регулярные функции. Другой пример:

где случайный процесс с известными функциями распределения, детерминированная функция. Иногда удобно задать случайный процесс дифференциальным уравнением, например 2

где известный случайный процесс, а -детерминированная функция.

Среднее значение процесса по ансамблю или его математическое ожидание определяется как

где одномерная плотность распределения для сечения Математическое ожидание, вообще говоря, является функцией времени (не случайной). Разность между случайным процессом и

математическим ожиданием называется центрированным процессом и обозначается Математическое ожидание квадрата центрированного процесса называется дисперсией:

которая, вообще говоря, тоже является функцией времени.

Функция корреляции определяется как математическое ожидание произведения двух сечений центрированного случайного процесса:

Функция корреляции вообще говоря, является, функцией двух моментов времени, Ее называют также функцией автокорреляции, в отличие от функции взаимной корреляции между двумя процессами

где -двумерная (совместная) плотность вероятности сечения процесса X и сечения процесса У. Иногда функции автокорреляции и взаимной корреляции определяют без центрирования.

Легко показать, что для нормального процесса с одномерной плотностью (2.12) математическое ожидание равно а, а дисперсия —

В теории вероятности доказывается, что все коэффициенты -мерной функции распределения нормального процесса (2.11) выражаются через математичесмое ожидание, дисперсию функцию корреляции, которые, в свою очередь, шшно определить, зная двумерное распределение. Отсюда вытекает замечательное свойство, присущее только нормальному процессу, он полностью характеризуется своим двумерным распределением.

Случайный процесс, у которого математическое ожидание и дисперсия не зависят от времени, а ФК зависит от разности но не от самих значений называется стационарным (в широком смысле) Реальные сообщения, сигналы и

помехи обычно не являются стационарными. Однако если их рассматривать на протяжении не слишком длительного времени, то хорошим приближением их можно описать стационарными процессами, которые поэтому широко используются в качестве математической модели реальных сообщений, сигналов и помех.

Примером стационарного процесса может служить процесс (2.6), если случайная величина, распределенная равномерно на интервале Его математическое ожидание равно нулю, дисперсия равна а функция корреляции Наоборот, процесс (2.5) стационарным не является. Заметим, что процесс (2.15), вообще говоря, не является стационарным, даже если стационарен процесс

Помимо средних значений по ансамблю можно определить средние значения случайного процесса по времени. Для финитного процесса, заданного на интервале времени от до определим постоянную составляющую:

Здесь и в дальнейшем волнистая черта означает усреднение по времени, в отличие от прямой черты, которой обозначается статистическое усреднение.

Если процесс задан на бесконечной оси времени, то для него постоянная составляющая определяется как

Постоянная составляющая, очевидно, сама от времени не зависит, но является, вообще говоря, случайной величиной — ее значение зависит от реализации сигнала.

Процесс называется переменной составляющей процесса Среднее по времени значение квадрата переменной составляющей

также является случайной величиной, не зависящей от времени. Ее обычно называют мощностью переменной составляющей, что совпадает с обычным определением мощности в электротехнике, если процесс представляет собой ток, проходящий через единичное сопротивление, или напряжение, приложенное к единичному сопротивлению.

Стационарные процессы называются эргодическими, если для них усреднение но времени приводит к тем же результатам, что и статистическое усреднение, т. е. математическое ожидание равно постоянной составляющего дисперсия — мощности переменной составляющей. Грубо говоря, эргодичность процесса заключается в том, что все его реализации похожи друг на друга. Эргодические процессы часто используются в качестве математических моделей реальных сообщений, сигналов и помех.

Функцию корреляции эргодического процесса также можно вычислить по одной реализации усреднением по времени:

Рассмотрим некоторые свойства функции корреляции стационарного случайного процесса, которую будем обозначать где — разность между двумя сечениями. С учетом стационарности можно записать:

Таким образом, ФК стационарного процесса является четной функцией интервала Положив найдем:

т. е. значение корреляционной функции в точке равно дисперсии сигнала.

В теории вероятностей доказывается, что при любом

Таким образом, имеет максимум при

Определим нормированную функцию корреляции или коэффициент корреляции процесса как

В частности, для стационарного процесса

Из свойств функции корреляции следует, что для стационарного процесса

Величина является в известной степени мерой статистической зависимости между сечениями процесса, отстоящими на интервал Действительно, если при некотором значении всегда совпадают, то, как легко убедиться, Если при другом значении то Если, наконец, являются независимыми случайными величинами, то откуда и

Таким образом, независимые сечеггия являются также некоррелированными. Обратное утверждение в общем случае неверно два сечения могут быть некоррелированными и в то же время зависимыми. Только в том случае, когда процесс гауссовский, из некоррелированности двух сечений следует их независимость.

Коэффициент и функция корреляции для эргодических случайных процессов стремятся к нулю с увеличением Это происходит потому, что чем дальше отстоят друг от друга сечения, тем слабее статистическая зависимость между ними. Интервал времени тк называется временем корреляции процесса, если при величина становится пренебрежимо малой (практически в большинстве случаев для этого достаточно, чтобы она стала меньше 0,1). Иногда интервал корреляции определяют как основание прямоуголышка с высотой, равной 1, площадь которого равна площади, ограниченной кривой и осями координат:

если этот интеграл существует.

Многомерные функции и плотности распределения (2.9), (2.10) иногда удобнее выражать через условные функции (плотности) распределения, аналогично тому, как это было сделано для вероятностей отрезка последовательности (2.1). Особенно удобно такое представление для марковских процессов, которые являются аналогом простых марковских цепей и обладают тем свойством, что при известном значении вероятность значения не зависит от значений в любые более ранние моменты времени:

Отсюда следует, что для марковского процесса при

Теория марковских процессов хорошо разработана и широко используется в современной теории связи. В частности, при некоторых дополнительных условиях переходная плотность вероятности где удовлетворяет дифференциальному уравнению порядка в частных производных:

при начальном условии Здесь называют коэффициентом сноса, а коэффициентом диффузии.

Уравнение (2.30) называют уравнением Колмогорова-Фоккера-Планка. Марковские процессы, удовлетворяющие этому уравнению, называют диффузионными. В общем случае это нестационарные процессы. Для стационарного процесса коэффициенты не зависят от

В зависимости от вида диффузионный марковский процесс может иметь различные распределения вероятностей. В частности, он может быть гауссовским. Имеет место следующая теорема: для того чтобы стационарный гауссовский процесс был марковским, необходимо и достаточно, чтобы его коэффициент корреляции был экспоненциальным:

где а — постоянная.