6.3. Декодирование сигналов при белом гауссовском шуме

В этом разделе будет рассмотрено кодирование и декодирование сообщений для канала с непрерывным временем и аддитивным стационарным белым гауссовским шумом. Этим

преследуется двойная цель: проиллюстрировать процессы блокового кодирования и декодирования, описанные в разд. 6.1, и создать необходимую базу для вычисления вероятности ошибки при ортонормальных сигналах (разд. 6.5).

Схема на рис. 6.2. построена так, чтобы выделить основные операции, выполняемые кодером и декодером в процессе передачи сообщения при блоковом кодировании и декодировании. Мы снова примем, что передаваемая информация содержится в последовательности двоичных символов и что последовательность разбивается на последовательные сообщения, каждое из которых состоит из двоичных символов.

Рис. 6.2. Схема передачи сообщений по каналу с непрерывным временем.

В разд. 6.1. мы видели, что процесс кодирования заключается в сопоставлении различных последовательностей входных событий, каждому из различных возможных сообщений. Так как в этом разделе мы интересуемся каналом с непрерывным временем, то каждому из возможных сообщений мы должны сопоставить особую временную функцию (сигнал) на временном интервале соответствующем передаче двоичных символов, образующих сообщение. Тогда кодер можно изобразить как переключатель, который включает генератор сигнала, соответствующего передаваемому сообщению. Обозначим через сигналов, соответствующих возможным последовательностям из двоичных символов.

Блоковое декодирование, рассмотренное в разд. 6.1, основано на группировании возможных выходных сигналов в подмножеств. Каждое из подмножеств состоит из сигналов, которые должны быть декодированы в некоторое сообщение,

согласно заданному критерию декодирования (критерию максимума апостериорной вероятности, критерию максимума правдоподобия и т. д.). Хотя такое группирование в подмножества дает представление процесса декодирования, удобное для целей разд. 6.1, оно не содержит явного описания операций, выполняемых декодером.

Если — сигнал на выходе канала, образованный в результате передачи некоторого сообщения, то все сведения, которые может дать о переданном сообщении, содержатся в совокупности условных вероятностей где сообщение, представляемое сигналом Следовательно, первая операция, выполняемая декодером, состоит в вычислениях этих условных вероятностей. В действительности декодер удобнее представлять себе как устройство для вычисления взаимной информации (в натуральных единицах)

В случае необходимости, используя вероятности передачи сообщений и взаимные информации из выражения (6.34), можно вычислить условные вероятности. Вычисление выполняется устройством вычисления вероятностей, показанным в правой части рис. 6.2.

Задача решающего устройства в правой части рис. 6.2 состоит в отождествлении переданного сообщения на основе значений доставляемых устройством вычисления вероятностей. Это отождествление производится согласно любому заранее заданному критерию декодирования. Если это критерий максимума правдоподобия, т. е. максимума взаимной информации, то решающее устройство отождествляет переданное сообщение с тем, для которого взаимная информация наибольшая. Если, наоборот, вводится критерий максимума апостериорной вероятности, то решающее устройство выбирает сообщение, для которого значение наибольшее. Другие критерии, представляющие практический интерес, требуют добавления к соответствующей величины, являющейся функцией и выбора максимального значения этой суммы.

Схема на рис. 6.2 может представить операции кодирования и декодирования для Довольно большого класса каналов. Ниже мы рассмотрим частный случай канала с непрерывным временем и аддитивным белым гауссовским шумом, который сравнительно прост с математической точки зрения и в то же время представляет значительный практический интерес. Предположим, что канал имеет усиление, равное единице. Это равносильно

тому, что выходные сигналы и шум могут быть отнесены на выход канала, т. е. могут рассматриваться как возникшие непосредственно на его выходных зажимах. Это предположение означает, что канал не является рассеивающим и что его усиление либо не зависит от времени, либо известно на приемнике в каждый момент времени.

Представим сигналы соответствующие сообщениям в виде ряда по ортонормальным функциям, определенным на временном интервале Примем далее, что только конечное число коэффициентов такого ряда может отличаться от нуля, так что эти сигналов можно представить векторами и, в евклидовом пространстве размерности Аналогично разложим аддитивный шум и сигнал на выходе канала по той же совокупности ортонормальных функций.

В разд. 5.8 и 5.9 было доказано, что коэффициенты в разложении в любые ряды ортонормальных функций на любом временном интервале становятся статистически независимыми, когда шум белый. Кроме того, если шум стационарный и гауссовский, а ортонормальные функции нормированы согласно выражению (5.114), то каждый коэффициент имеет гауссовское распределение с нулевым средним и дисперсией

где мощность шума на единицу ширины полосы (в герцах). В силу аддитивности шума это означает, что взаимная информация между любым сообщением и каким-либо сигналом на выходе канала будет зависеть только от коэффициентов в разложении а именно от коэффициентов, соответствующих отличным от нуля коэффициентам входного сигнала. Другими словами, выходной сигнал и шум, так же как и входные сигналы, можно представить векторами евклидовом пространстве размерности

Теорема. Пусть - D-мерный вектор, декартовыми координатами которого являются коэффициентов в разложении в ряд по ортонормальным функциям, удовлетворяющим выражению (5.114). Аналогично пусть -мерные векторы, декартовы координаты которых являются соответствующими коэффициентами в разложениях по тому же множеству ортонормальных функций. Если шум аддитивный стационарный гауссовский и белый, то взаимная информация, определяемая равенством (6.34), равна

где

и сообщение, представляемое вектором

Доказательство. Обозначим через соответствующие коэффициенты в разложениях в ряды ортонормальных функций и припишем отличным от нуля коэффициентам сигналов целые числа шум можно рассматривать как сумму двух временных функций функции

представляемой вектором шума (здесь функция множества ортонормальных функций), и функции

Соответственно выходной сигнал возникающий при входном сигнале есть сумма временной функции

представляемой вектором и временной функции

Теперь, поскольку коэффициенты статистически независимы

то для коэффициентов в разложении в ряд имеем

Другими словами, при вычислении апостериорных вероятностей сообщений надо учитывать только те коэффициенты разложения которые являются компонентами вектора Мы имеем, по определению,

С другой стороны, плотность распределения вероятностей вектора шума является произведением гауссовских плотностей,

каждая из которых имеет нулевое среднее и дисперсию задаваемую выражением (6.35), т. е.

Так как статистически не зависит от и, то

где определено в выражении (6.37). Наконец, выражение (6.36) немедленно следует из (6.34), (6.43), (6.44), (6.46) и (6.47). Ч. Т. Д.