7.4. АДДИТИВНЫЙ ШУМ И АДДИТИВНЫЙ ГАУССОВ ШУМ

В этом параграфе результаты, полученные в § 7.2 и 7.3, применяются в важном и простом частном случае каналов с аддитивным шумом. Канал с аддитивным шумом определяется как канал, для которого входное пространство — множество действительных чисел (или действительных векторов) и выход представляется как сумма входа и статистически независимой случайной величины (или вектора), называемой шумом. Для простоты примем, что шум имеет плотность вероятности Для данного входа х выход принимает значение у, тогда и только тогда, когда и так как не зависит от х, то переходная плотность вероятности канала задается равенством

Вычисление средней взаимной информации и пропускной способности для канала с аддитивным шумом сильно упрощается в силу того, что условная энтропия выхода при заданном входе равна энтропии шума следовательно, не зависит от входного распределения. Для того чтобы убедиться в этом, будем считать, что плотность вероятности на входе. Используя (7.4.1) в выражении, определяющем условную энтропию (2.4.25), имеем

Те же самые соображения, очевидно, применимы для дискретного распределения на входе. Следовательно, средняя взаимная информация между выходом и входом канала задается равенствами

В этом выражении зависит от входного распределения, а не зависит. Таким образом, проблема нахождения пропускной способности для канала с аддитивным шумом сводится к максимизации при заданных ограничениях на входе. Следующие два примера показывают, как эта задача может быть иногда решена.

Пример. Сначала рассмотрим шум с плотностью вероятности для во всех других точках. Предположим, что амплитуда на входе принимает значения из интервала Так как выход у равен то значения сигнала на выходе лежат в интервале -2 Наша задача заключается в том, чтобы найти в этом интервале максимизирующее и затем попытаться найти входное распределение, которое приводит к этой максимизирующей плотности Нетрудно догадаться, что достигает максимума на плотности вероятности равномерного распределения и это будет подтверждено применением вариационного исчисления. Пусть

где К — множитель Лагранжа для ограничения Функция является стационарной точкой, если выражение

равно нулю для всех

Следовательно, стационарная точка достигается, если

Это означает, что постоянна в рассматриваемом интервале, или

Заметим, что дискретное распределение на входе

Дает и поэтому на нем, по-видимому, достигается пропускная способность. Для того чтобы строго доказать, что на этом распределении достигается пропускная способность, выберем произвольное конечное множество входных букв между включая Для рассматриваемого входного распределения

Следовательно, это распределение удовлетворяет необходимым и достаточным условиям теоремы 4.5.1, при выполнении которых достигается пропускная способность. Аналогично можно проверить, что это распределение удовлетворяет необходимым и достаточным условиям, при выполнении которых максимизируется Это не удивительно, так как использование на входе лишь превращает рассматриваемый канал в двоичный канал без шума; означает, что означает, что . В задаче 7.5, в которой продолжается изучение этого примера, рассматриваются произвольные амплитудные ограничения на х. Оказывается, что плотность равномерного распределения у в общем случае не получается, хотя пропускная способность всегда достигается на дискретном входном распределении.

Аддитивный гауссов шум и ограничение на энергию входного сигнала

Рассматривая второй пример, предположим, что в канале с аддитивным шумом задано ограничение на энергию на входе

Пусть шум имеет плотность с нулевым средним и дисперсией Предположение не приводит к потере общности, так как можно всегда добиться его выполнения, сдвигая нуль на осях . В дальнейшем мы примем, что плотность гауссовского распределения, однако в течение некоторого времени будем считать ее произвольной. Среднеквадратическое значение выхода канала ограничено следующим образом:

Найдем теперь максимум при ограничении на а затем попытаемся найти соответствующее входное распределение, приводящее

к плотности на которой достигается максимум. Можно опять использовать методы вариационного исчисления, распространяя предел в (7.4.3) до и добавляя второе ограничение, Это приводит к условиям, аналогичным (7.4.5),

Решение этого уравнения, удовлетворяющее ограничению (7.4.7), имеет вид

Теорема 7.4.1. Максимальное значение энтропии

взятое по всем плотностям вероятностей, удовлетворяющим ограничению

достигается только на плотности гауссовского распределения

и равно

Доказательство. Эту теорему можно было бы доказать, развивая соображения гл. 4 о свойствах выпуклых функций и доказывая, что решение (7.4.8) вариационного уравнения дает единственный максимум. Однако следующее доказательство в некотором смысле проще. Пусть произвольная плотность вероятности, удовлетворяющая (7.4.9), и пусть плотность гауссовского распределения. Тогда

Применяя (7.4.12), получаем

где было использовано неравенство Равенство здесь достигается тогда и только тогда, когда для всех у.

Поскольку возрастает с то ясно, что изменение ограничения в теореме на не может изменить результат. Для получения пропускной способности остается найти плотность вероятности входного сигнала, приводящую к плотности гауссовского распределения на выходе. Один из печальных фактов нашей жизни состоит в том, что если сумма двух независимых случайных величин является гауссовской случайной величиной, то каждая из случайных величин должна быть гауссовской. Однако, к счастью, наибольший интерес представляет ситуация, когда аддитивный шум гауссов. В этом случае максимум и пропускная способность достигаются на гауссовском х. Для этого случая выражение уже было вычислено в (2.4.36). Таким образом, доказана следующая теорема.

Теорема 7.4.2. Пусть задан дискретный по времени канал без памяти с аддитивным гауссовым шумом, дисперсия которого и пусть ограничение на входе имеет вид Тогда пропускная способность равна

Вычисление пропускной способности канала с негауссовым аддитивным шумом — задача утомительная и неблагодарная. Ограничимся здесь границами для пропускной способности, даваемыми следующей теоремой; эта теорема фактически показывает, что при заданной дисперсии шума гауссов шум является наихудшим с точки зрения пропускной способности аддитивным шумом.

Теорема 7.4.3. Пусть задан дискретный по времени канал без памяти с аддитивным шумом (дисперсия которого и с ограничением на входе Тогда

Доказательство. Левая часть неравенства следует из соотношения и того, что выражение является верхней границей Для того чтобы установить справедливость правой части неравенства, положим

и покажем, что получающаяся средняя взаимная информация удовлетворяет неравенству

Это полностью докажет теорему, так как С — верхняя грань по всем допустимым входным распределениям. Пусть плотность вероятности шума и пусть плотность вероятности гауссовского распределения с дисперсией Пусть выходная плотность и пусть плотность гауссовского распределения с дисперсией Тогда, так же как в (7.4.12), имеем

Далее, используя (7.4.16),

Однако, так как плотность гауссовского распределения, то Следовательно, двойной интеграл в (7.4.17) сводится к и правая часть (7.4.17) равна нулю, что завершает доказательство.

Далее используем границы вероятности ошибки (7.3.45) и (7.3.46) для канала с аддитивным гауссовым шумом, описываемым плотностью

Каждое кодовое слово удовлетворяет ограничению

Выберем для ансамбля кодов плотность вероятности на входе

Имеется целый ряд причин для выбора здесь гауссовской плотности. Первая состоит в том, что она легко интегрируема, вторая причина — получающая совместная плотность имеет сферическую симметрию и третья причина в том, что эта плотность приводит к экспоненте случайного кодирования, показатель которой в нелинейной части совпадает с показателем экспоненты нижней границы вероятности ошибки (см. Шеннон, 1959).

Подставляя (7.4.18) и (7.4.20) в выражение для в (7.3.43) и заменяя на мы можем дополнить показатель экспоненты до полного квадрата и полученное выражение проинтегрировать. После замены на переменную результат представляется в виде

Этот результат справедлив при Для больших что бесполезно. Вместо максимизации этого выражения по удобно произвести следующие замены:

Величина А — отношение сигнал/шум в канале и можно ожидать, что в определенном масштабе получающаяся граница будет зависеть лишь от а не отдельно от Используя (7.4.22) и (7.4.23), исключим в (7.4.21) и получим выражение для в виде функции от

Ограничение появляется здесь как

Функция имеет стационарную точку относительно определяемую из равенства

Левая часть (7.4.26) в области, задаваемой (7.4.25), убывает по от до некоторого отрицательного значения. Следовательно, максимизируется единственным значением из этой области, которое удовлетворяет (7.4.26). Преобразуя (7.4.26) и решая получившееся квадратное уравнение

находим это значение

Далее имеет стационарную точку относительно определяемую из равенства

Для удовлетворяющих (7.4.26), оно сводится к

Теперь для удовлетворяющих (7.4.26) и (7.4.29), имеем

Теперь можно получить явное выражение для разрешая (7.4.26) относительно через Это приводит к

Подставляя (7.4.32) в (7.4.31) и несколько упрощая получающееся выражение, находим

где согласно (7.4.30),

Равенство (7.4.33) справедливо для Взяв значения из (7.4.28) для и подставляя их в (7.4.30), находим, что (7.4.33) справедливо для

Для меньших чем левая часть (7.4.34), следует выбрать что дает

где

Экспонента случайного кодирования для некоторых значений А изображена на рис. 7.4.1.

Следует еще рассмотреть коэффициент в (7.3.45). Решая уравнение (7.4.23) относительно получаем

Умножая числитель и знаменатель правой части на и сравнивая с (7.4.27), получаем полезное в дальнейшем выражение для

Из (7.4.29) имеем для больших N

Рис. 7.4 1 для дискретного по времени канала с аддитивным гауссовым шумом при различных отношениях сигнал/шум А.

При использовании этого приближения для величина достигает минимума при давая

Для того чтобы получить точное выражение для заметим, что равно вероятности, с которой случайная величина с распределением степенями свободы принимает значение из интервала между ее средним и числом на меньше этого среднего. Таким образом, может быть найдено из таблиц распределения

В случае границы случайного кодирования для процедуры с выбрасыванием подставим (7.4.18) и (7.4.20) в (7.3.44). Интегрируя, получаем

После подстановок и

равенство (7.4.41) принимает вид

где ограничено интервалом Взяв находим, что максимум по существует и достигается при

или

Равенство (7.4.44) может быть переписано в виде

Далее, имеет максимум по который достигается при

Для , которые удовлетворяют обоим равенствам (7.4.44) и (7.4.47), можно подставить (7.4.46) вместо в третье слагаемое правой части (7.4.47) и получить

При использовании выражения (7.4.46) для эти равенства упрощаются:

Решая (7.4.50) относительно получаем явное выражение

Это справедливо для или, комбинируя (7.4.45) и (7.4.50), для

Из (7.3.33) следует, что R связана со скоростью R соотношением

Параметр задается соотношением (7.4.42) следующим образом:

где было использовано соотношение (7.4.46). Подставляя это значение в (7.4.40), получаем

Эти результаты подытоживаются в следующей теореме. Теорема 7.4.4. Пусть для дискретного по времени канала с аддитивным гауссовым шумом переходная плотность вероятности имеет вид

а ограничение имеет вид Тогда для любой длины блока любой скорости существует код с кодовыми словами, каждое из которых удовлетворяет ограничению (7.4.19) и границе вероятности ошибки

где задается соотношениями (7.4.33) и (7.4.36), задается приближенно (7.4.40). Кроме того, если задаваемое (7.4.54) и (7.4.56), удовлетворяет (7.4.53), то также для всех кодовых слов

Хотя это непосредственно не очевидно из выражения для однако из § 7.3 следует, что является выпуклой невозрастающей положительной функцией для