8.3. ЭВРИСТИЧЕСКОЕ ИЗУЧЕНИЕ ПРОПУСКНОЙ СПОСОБНОСТИ КАНАЛА С АДДИТИВНЫМ ГАУССОВЫМ ШУМОМ И ОГРАНИЧЕНИЯМИ НА ПОЛОСУ ЧАСТОТ

В предыдущих параграфах было показано, как представить сигнал и шум с помощью ортонормальных разложений, и это было использовано для нахождения пропускной способности канала с аддитивным гауссовым шумом в случае, когда имелись ограничения на мощность. Затем рассматривалась вероятность ошибочного декодирования, когда в качестве множества кодовых слов бралось множество ортогональных функций.

В этом анализе имеются два неприятных момента. Во-первых, чтобы сделать вероятность ошибки малой для скорости, близкой к пропускной способности, надо использовать огромное число ортогональных функций и это требует весьма большую полосу частот. Во-вторых, оправдание использования белого гауссова шума как модели реального шума было основано на том, что он дает приемлемое и простое приближение в интересующей нас области частот. Вместе с тем при использовании для кодирования все большего и большего числа ортогональных функций в конце концов должна превыситься область частот, в которой имеет какой-либо смысл предположение о белом гауссовом шуме. Фактически, если принять точку зрения, что полная мощность принятого шума конечна, то спектральная мощность шума должна стремиться к нулю при возрастании частоты и среднюю взаимную информацию в канале можно сделать сколь угодно большой, помещая входной сигнал на произвольно больших частотах.

Физически, приведенная выше аргументация не совсем верна, так как некоторые из аддитивных шумов возникают в приемнике и, увеличивая частоту входных сигналов, надо модифицировать приемник так, чтобы он принимал эти высокие частоты; это, в свою очередь, порождает аддитивный шум на этих частотах.

Однако физические доводы, подобные этому, не дают полностью удовлетворительного выхода из этого затруднения. Действительные трудности состоят в том, что модель гауссова белого шума и модель сигнала, не ограниченного по частоте, являются весьма неустойчивыми. Получаемые результаты очень сильно зависят от того, что происходит на бесконечно больших частотах.

Один из распространенных способов избежать эти трудности состоит в допущении, что сигнал не содержит частот, больших, чем некоторая максимальная частота В этом случае для представления входа может быть использована теорема отсчетов и, так как имеются отсчетов в секунду, то из (8.2.9) можно заключить, что пропускная способность равна Однако при этом подходе возникают некоторые чисто математические трудности, состоящие, в частности, в том, что определение пропускной способности, данное в гл. 4, неприменимо здесь, так как ограниченный по полосе частот сигнал одновременно не может быть строго ограничен по времени. Ниже мы вернемся к разрешению этих трудностей и сделаем точным приведенный выше результат.

Другой распространенный метод обхода неприятностей, связанных с произвольно большими частотами, сводится к тому, что принимается, что спектральная плотность шума возрастает с частотой при Этот подход неудовлетворителен как с физической, так и с математической точки зрения.

Предлагаемый здесь подход состоит в предположении, что сигнал, во-первых, ограничивается по мощности и, во-вторых, ограничивается по частоте с помощью пропускания его перед передачей через линейный инвариантный во времени фильтр. Следовательно, тогда, когда используются сигналы с очень высокими частотами, фильтр ослабляет эти высокие частоты до величины, много меньшей спектральной плотности шума.

Рис. 8.3.1. Сумма профильтрованного сигнала и шума.

Математически этот подход имеет то преимущество, что он абсолютно ясно определен и допускает точный анализ. Физически его преимущество заключается в том, что он намного ближе, чем другие подходы, отражает виды ограничений по частоте, возникающие в реальных системах связи. Последнее преимущество этого подхода состоит в том, что, варьируя отклик фильтра и спектральную плотность шума, можно понять довольно много об устойчивости пропускной способности канала и экспоненты вероятности ошибки к относительно малым изменениям модели. Действительно, приняв этот подход, мы сможем дать точный вывод пропускной способности при строго ограниченном по частоте входе и увидеть, насколько устойчив этот результат.

В этом параграфе приводится эвристический вывод пропускной способности канала с отфильтрованным входом и аддитивным небелым гауссовым шумом. Вывод крайне прост и крайне убедителен. Вместе с тем он не строг и содержит ряд пробелов, которые не могут быть удовлетворительно заполнены. Следующие два параграфа будут посвящены строгому выводу того же самого результата другим методом.

Рассматриваемая ситуация изображена на рис. 8.3.1. Вход канала равен нулю вне интервала и ограничен по мощности величиной в том смысле, что выбирается из ансамбля, для которого

Вход пропускается через фильтр с частотной характеристикой и выход фильтра обозначается через Шум образован выборочной функцией стационарного гауссова шума со спектральной плотностью который добавляется к Выход канала равен сумме рассматриваемой на интервале Рассмотрим, сколь большой может быть сделана средняя взаимная информация в секунду между

Представим рядом Фурье:

Отклик фильтра на равен где импульсный отклик фильтра и обратное преобразование Фурье Если Т намного больше, чем эффективная продолжительность импульсного отклика, то следует ожидать, что отклик фильтра на должен быть приближенно синусоидой частоты и продолжительности Также следует ожидать, что этот отклик относительно ослабится примерно в раз. Это побуждает определить множество функций

Из приведенного выше рассмотрения следует ожидать, что приближенно, с точностью до сдвига фазы, равна

Более того, из (8.3.3) видно, что фазовый сдвиг между примерно такой же, как и фазовый сдвиг между и поэтому приближенно ортогональны. Из (8.3.4) также вытекает, что приближенно ортогональны к при Следовательно, при аппроксимации, которая улучшается с возрастанием можно приближенно рассматривать как множество ортонормальных функций.

Далее вычислим через

Применяя (8.3.3), получаем равенства

Шум также можно разложить по

В течение некоторого времени шум будет рассматриваться как результат прохождения белого гауссова шума с единичной спектральной плотностью через физически нереализуемый фильтр с частотной характеристикой, равной

Следовательно, если положить, что белый гауссов шум, то

где

Полагая

получаем

Из рассуждений, аналогичных приведенным выше, следует, что все функции приближенно являются синусоидами; функции множества приближенно ортогональны и

Отсюда, используя (8.1.41), имеем

Суммируя находим, что принятый сигнал на интервале приближенно задается соотношениями

Величины можно рассматривать как выходы множества параллельных дискретных по времени каналов с аддитивными гауссовыми шумами. Существенно то, что канал был разбит на узкие полосы частот, каждая из которых имеет ширину Каждая полоса частот имеет две степени свободы, соответствующие синусу и косинусу.

Все приведенные выше утверждения можно было бы сформулировать чуть более тщательно, однако во всем этом подходе имеется существенный недостаток, который, по-видимому, весьма трудно преодолеть. Когда Т становится большим, число параллельных каналов на единицу полосы частот возрастает. При этом, хотя шум в любых двух каналах становится статистически независимым при неясно, становится ли любой канал статистически независимым от

множества всех других каналов. Для того чтобы сделать рассуждения более точными, проще всего отказаться от подхода, основанного на рядах Фурье, и использовать другое множество ортонормальных функций; это будет сделано в следующих двух параграфах.

В остающейся части этого параграфа, тем не менее, будем считать, что (8.3.10) выполняется со строгим равенством и что (8.3.12) задает множество параллельных (независимых) каналов. Теперь можно использовать результаты гл. 7 для нахождения пропускной способности этого параллельного соединения каналов.

Используя неравенство Бесселя, ограничение на мощность (8.3.1) можно записать в виде

Если рассмотреть как выход канала, то этот выход будет равен сложенной с независимой гауссовской случайной величиной дисперсии Из теоремы 7.5.1 следует, что пропускная способность этого параллельного соединения (нормированная на единицу времени) равна

где множество для которых является решением уравнения

Для того чтобы достичь пропускной способности, количество энергии, которое должно быть использовано в каждом канале, следует задать равенством

Этот результат допускает то же толкование, что и результат теоремы 7.5.1 (см. рис. 7.5.1).

Пусть теперь в пределе (8.3.14) и (8.3.15) становятся интегралами Римана:

где область для которой является решением уравнения

Спектральная плотность мощности входного ансамбля, на котором достигается пропускная способность, задается равенством, которое следует из (8.3.16),

В § 8.5 будет доказано, что при некоторых небольших ограничениях на переход от равенства (8.3.17) к (8.3.19) действительно верен.

Интерпретация этих равенств почти тождественна интерпретации теоремы 7.5.1 и дана на рис. 8.3.2.

Рис. 8.3.2. Распределение входной мощности для достижения пропускной способности.

Сравнивая рис. 8.3.2 с равенствами (8.3.17) — (8.3.19), можно заметить, что мощность равна всей площади заштрихованной области на рис. 8.3.2 и что соответствующая спектральная плотность мощности при любом заданном равна высоте заштрихованной области на этой частоте. Это толкование обычно называется интерпретацией с наполнением водой, так как можно представлять себе, что описывает дно резервуара, количество налитой воды. Предположив, что области соединены, видим, что вода (мощность) распределяется таким же образом, как и при достижении пропускной способности. Пропускная способность пропорциональна интегралу (по заштрихованной части от логарифма отношения уровня воды В и дна резервуара

Одной интересной особенностью этого результата является то, что пропускная способность не зависит от значения для частот вне заштрихованной области, т. е. от значений которые больше, чем В. Другими словами, С не зависит от особенностей поведения при Исключение из этого правила возникает, когда стремится к 0 при возрастании быстрее, чем В этом случае пропускная способность бесконечна и любое количество информации может быть получено с помощью передачи на достаточно высоких частотах. Это, конечно, указывает, что математическая модель не отражает основных черт физической ситуации.

Теперь можно применить эти результаты к сигналу с ограниченной полосой частот на фоне белого гауссова шума со спектральной плотностью Если вход имеет полосу частот вокруг

некоторой центральной частоты то ограничения можно представить в виде

В этом случае равно или в зависимости от того, находится внутри полосы частот или нет. Подынтегральные выражения в (8.3.17) и (8.3.18) не зависят от внутри полосы частот, и должно совпадать со всей областью частот внутри полосы. Таким образом, интегрируя, получаем

Решая (8.3.22) относительно В и подставляя решение в (8.3.21), имеем

Это является известной теоремой Шеннона о пропускной способности канала, ограниченного по полосе. Эта формула часто употребляется неправильно, главным образом, из-за непонимания того, что она применима только к аддитивному гауссову шуму. Заметим также, что для частоты вне полосы, где несущественно, каково значение спектральной плотности, так как для любого ненулевого значения

Имеется ряд опубликованных в литературе математических парадоксов, касающихся формулы (8.3.23); в них считается, что вне полосы. В этом случае значение не определено вне полосы, и пропускную способность можно сделать сколь угодно большой, если приписать сколь угодно малые значения отношению вне полосы. Физически, конечно, проблема может быть очень легко разрешена — стоит только заметить, что не может быть точно равной нулю. Другими словами, когда анализ математической модели физической задачи приходит к неопределенности, что означает, что модель слишком идеализирована и должна быть изменена.