6.5. Ортонормальные сигналы в белом гауссовском шуме

В этом разделе мы вычислим вероятность ошибки для случая, когда сообщения равновероятны и сопоставляются ортонормальным временным функциям с одинаковой средней мощностью Как и в предыдущем разделе, примем, что шум в канале аддитивный белый стационарный гауссовский. При этих предположениях имеем, согласно выражению (6.63),

Удобно выбрать множество ортонормальных функций используемых при разложении шума в ряд так, чтобы членов этого ряда были пропорциональны входным сигналам, т. е. чтобы

При любом таком выборе каждый вектор и, имеет единственную компоненту, отличную от нуля, а именно

где средняя мощность каждого из сигналов, соответствующих сообщениям.

Так как, по предположению, сообщения равновероятны и соответствующие им сигналы имеют одну и ту же среднюю мощность, то из теоремы, включающей соотношение (6.57), следует, что вероятность ошибки минимальна, когда сигналы на выходе канала декодируются в сообщения, максимизирующие среднюю взаимную мощность определяемую соотношением (6.49). Пусть фактически переданное сообщение. Из выражения (6.49) с помощью равенств (6.80) и (6.81) получаем, что

где компонента выходного вектора — сигнала соответствующая компонента вектора шума Решая это уравнение относительно получаем, что

Поскольку пропорциональны соответствующим то из теоремы, включающей соотношения (6.63), (6.64) и (6.65), следует, что для любого данного передаваемого сообщения случайные величины статистически независимы и имеют гауссовское распределение со средним, равным

и дисперсией, равной

В соответствии с нашим критерием декодирования, декодер должен для каждого выходного сигнала выбрать сообщение, которое максимизирует а значит Отсюда следует, что если фактически переданное сообщение, то выходной сигнал будет правильно декодирован, когда компонента вектора выходного сигнала больше, чем все другие компоненты этого вектора. Таким образом, вероятность ошибки для любого сообщения равна

Теорема. Рассмотрим ансамбль равновероятных сообщений, представляемых ортонормальными на временном интервале временными функциями с одинаковой средней мощностью и обозначим через

соответствующую скорость передачи информации, т. е. собственную информацию ансамбля сообщений в секунду. Если такие сообщения передаются по каналу с непрерывным временем и аддитивным белым гауссовским шумом со спектральной плотностью имеющим пропускную способность

то выходной сигнал можно декодировать с вероятностью ошибки

где

и

Доказательство. Вероятность того, что какая-либо компонента вектора меньше, чем равна

Поскольку все у статистически независимы и имеют одно и то же распределение, вероятность того, что все компоненты у; вектора с одновременно меньше, чем равна

Отсюда следует, что вероятность ошибки может быть представлена в виде

где

Хотя вероятность ошибки можно легко найти из равенства (6.95) численным интегрированием, очень желательно оценить ее значение с помощью просто вычисляемой верхней границы. Из равенства (6.94) очевидно, что вероятность стремится к единице, когда стремится к и стремится к нулю, когда стремится к Для значений близких к единице, удобную аппроксимирующую их нижнюю границу дает следующее хорошо известное неравенство:

Однако эта аппроксимация мало что дает, когда стремится к единице. В самом деле, в этом случае правая часть неравенства (6.97) становится отрицательной. Для таких значений более подходящей нижней границей может служить тривиальное неравенство

Таким образом, будем аппроксимировать функцией

которая является ее нижней границей для всех значений Значения параметра а будут выбраны таким образом, чтобы оптимизировать эту аппроксимацию.

Подставляя нижнюю границу для в выражение (6.95), получаем, что

где

Оценим сначала Делая в выражении (6.101) замену переменных

и используя хорошо известное неравенство

получаем

Первый шаг в оценке состоит в нахождении подходящей верхней границы Из равенства (6.93) с помощью неравенства (6.104) мы получаем

Подставляя это выражение в равенство (6.102), находим с помощью выражения (6.96)

Так как а является нижним пределом интегрирования в этой формуле, то лежит внутри интервала интегрирования. Отсюда следует, что значение интеграла возрастет, если в знаменатель в подынтегральном выражении вместо подставить а. Эта подстановка дает

где

В случае когда нижний предел интегрирования положителен, верхнюю границу для значения интеграла в правой части соотношения (6.108) можно получить с помощью неравенства (6.104). Если же нижняя граница интегрирования отрицательна, весь интеграл можно положить равным 1, что может привести к увеличению значения интеграла не более чем в 2 раза. Окончательно вероятность может быть оценена как

Следующим шагом является оптимизация параметра а. Для этой цели обозначим через (3, и (32 показатели в правых частях выражений (6.105) и (6.110) соответственно, а через

соответствующие множители при экспонентах. Тогда, подставляя в выражение (6.100) для соответствующие верхние границы, задаваемые неравенствами (6.105) и (6.110), получаем

Значение параметра а могло бы быть подобрано так, чтобы минимизировать правую часть этого неравенства. Это, однако, приводит к довольно сложным выражениям для а. В действительности мы не столько заинтересованы в получении наименьшей возможной верхней границы, сколько в получении простой достаточно хорошей оценки. Поэтому представляется целесообразным положить

Поскольку правая часть неравенства (6.111) в основном зависит от двух экспонент, то приравнивание этих компонент друг другу приводит к приближенному значению минимума всего выражения.

Подстановка в неравенство (6.111) для соответствующих выражений из соотношений (6.105) и (6.110) с помощью равенства (6.86) дает

откуда получаем

где определенные в выражениях (6.88) и (6.89), есть скорость передачи информации и пропускная способность канала.

Наконец, подставляя для в выражение (6.100) правые части выражений (6.105) и (6.110), вычисленные при значениях параметра а из равенства (6.115), получаем выражение (6.90). Ч. Т. Д.

Временные функции, используемые для представления возможных сообщений, предполагаются ортонормальными на временном интервале Никаких других ограничений на них не накладывается. Например, каждое сообщение можно представить синусоидальными сигналами частоты

где целые числа, определяющие различных частот, а фиксированное целое число. Это множество ортонормальных сигналов определяет вид кодирования, который можно назвать квантованной частотной модуляцией. Заметим, однако, что метод декодирования здесь совершенно отличен от обычно используемого в приемниках при частотной модуляции.

Другим примером ортонормальных сигналов служит квантованная фазово-импульсная модуляция. При этом виде кодирования сигналов представляют собой неперекрывающиеся импульсы ширины Эти сигналы ортонормальны на временном интервале так как каждый из них отличен от нуля лишь в тех точках, в которых любой другой равен нулю. Опять-таки применяемый здесь прием декодирования отличен от приема, который обычно используется в приемниках при фазово-импульсной модуляции.

Легко видеть, что для фиксированной скорости передачи полоса частот, занимаемая сигналами при этих двух видах кодирования, должна расти почти экспоненциально с ростом . В случае частотной модуляции (как видно из выражения интервалы между частотами, соответствующими различным сообщениям, обратно пропорциональны однако число сообщений должно расти экспоненциально с ростом . В случае фазово-импульсной модуляции ширина импульсов прямо пропорциональна но обратно пропорциональна Поэтому полоса, занимаемая импульсами, пропорциональна

Это почти экспоненциальное возрастание полосы частот, занимаемой сигналами с ростом является общим следствием их ортонормальности. В самом деле, если сигналов ограничены некоторой полосой частот № в смысле, указанном в разд. 5.7, то они могут быть представлены векторами в пространстве измерений. Тогда максимальное число ортонормальных векторов в таком пространстве в точности равно размерности пространства, так что

Отсюда следует, что для фиксированной скорости передачи произведение должно возрастать экспоненциально с ростом .

Требование, чтобы временные функции, представляющие сообщения, были ортонормальны, было наложено, только чтобы упростить вычисление вероятности ошибки. Шеннон [1] получил подобную верхнюю границу вероятности ошибки для сигналов (не обязательно ортонормальных) с конечной полосой частот №. Эта граница имеет такой же экспоненциальный характер, как и полученная в этом разделе, и показатель экспоненты также пропорционален Кроме того, если полоса частот настолько велика, что отношение сигнал/шум в заданной полосе частот равно

то коэффициент в показателе а, полученный Шенноном, совпадает с приведенными в выражении (6.92).