§ 4.4. Прямая теорема кодирования для непрерывных каналов с аддитивным белым гауссовским шумом

В этом параграфе мы докажем прямую теорему кодирования для каналов, указанных в заголовке, при ограничениях на среднюю мощность и полосу частот сигналов на входе. Частным случаем этой теоремы является случай отсутствия ограничений на полосу частот, при котором Еходные сигналы могут иметь какие угодно высокие частотные составляющие.

Теорема 4.4.1. Пусть информационная емкость непрерывного канала с аддитивным белым гауссовским шумом при ограничениях на среднюю мощность и на полосу частот входных сигналов. Для любых положительных существует код слова которого удовлетворяют ограничениям на среднюю мощность

и на полосу частот

причем максимальная вероятность ошибки

Доказательство. Вначале мы сведем задачу передачи сообщений по непрерывному каналу с непрерывным временем с помощью кода, удовлетворяющего ограничениям на среднюю мощность и на полосу частот, к задаче передачи сообщений по непрерывному каналу с дискретным временем с помощью кода, удовлетворяющего некоторому другому ограничению на среднюю мощность, затем воспользуемся прямой теоремой кодирования, доказанной для каналов с дискретным временем.

Пусть код удовлетворяет ограничениям указанным выше, и используется для передачи сообщений по непрерывному каналу с аддитивным белым гауссовским шумом. Тогда случайный прокесс на выходе канала можно представить в виде суммы

где случайный процесс на входе канала (реализациями этого случайного процесса являются слова кода отрезок длины белого гауссовского шума, статистически независимого от передаваемого сигнала Очевидно, что процесс представим в виде ряда

где

Пусть

тогда

где с. в. статистически независимы от с. в. кроме того, являются статистически независимыми гауссовскими с. в. Они имеют нулевое математическое ожидание и дисперсию Из ограничения на среднюю мощность кодовых слов следует, что

где коэффициенты разложения кодового слова (функции ) по системе ортонормальных функций Другими словами,

для каждого слова кода

Таким образом, любому коду объема удовлетворяющему ограничениям на среднюю мощность и на полосу частот для непрерывного канала с аддитивным белым гауссовским шумом с интенсивностью соответствует код того же объема, удовлетворяющий ограничению на среднюю мощность, для непрерывного канала без памяти с дискретным временем и аддитивным гауссовским шумом мощности

Согласно теореме 4.2.4 для любого положительного существует код при Яд информационная емкость соответствующего канала с дискретным временем, удовлетворяющий ограничению на среднюю мощность и обеспечивающий произвольно малое значение

максимальной вероятности ошибки. Если теперь каждому кодовому слову сопоставить функцию

и рассматривать множество этих функций как код для непрерывного канала, то нетрудно убедиться, что этот код будет содержать

кодовых слов, где

причем каждое ксдобсе слово будет удовлетворять ограничениям на среднюю мощность и на полосу частот. Так как код обеспечивает произвольно малую максимальную вероятность ошибки, то и код также обеспечивает произвольно малую максимальную вероятность ошибки, поскольку декодирование кода можно осуществлять, выполняя разложения (4.4.5), (4.4.6) и переходя тем самым к декодированию в канале с дискретным временем. Выбирая получим утверждение теоремы. Теорема доказана.

Из обратной теоремы кодирования (теорема 4.3.3) и доказанной прямой теоремы вытекает следующее утверждение.

Следствие 4.4.1. Пусть информационная емкость непрерывного канала с аддитивным белым гауссовским шумом с интенсивностью при ограничениях на среднюю мощность и на полосу частот входных сигналов. Пусть С — пропускная способность этого канала, т. е. такое максимальное число, что для любого положительного и любого существует код удовлетворяющий ограничениям на среднюю мощность и на полосу частот кодовых слов, максимальная вероятность ошибки которого не превосходит 6. Тогда

В заключение мы сделаем два замечания, в которых дается обсуждение принятой модели канала и результатов, полученных в обратной и прямой теоремах кодирования для непрерывных каналов.

1. Реальный канал с точки зрения передачи электрических сигналов представляет собой фильтр. Еслишум отсутствует и на вход такого фильтра подаемся гармоническое колебание бесконечной длительности выходе возникает гармоническое колебание имеющее также бесконечную длительность и фазовый сдвиг а. Функция представляет собой частотную характеристику фильтра канала. Если при некотором значении частоты то колебание

вообще не проходит через канал. Чаще всего частотная характеристика канала формируется с помощью специальных каналообразующих устройств с целью обеспечения возможности одновременной работы нескольких абонентов. Для этого пытаются уменьшить влияние входных сигналов одного абонента на выходные сигналы другого и подбирают частотные характеристики каждой пары абонентов так, чтобы произведение было равно или почти равно нулю.

Введенное выше ограничение на полосу частот входных сигналов можно связать со свойствами частотной характеристики канала как фильтра. Пусть

Тогда все составляющие входного сигнала, частоты которых лежат вне полосы не проходят через канал, и в этом случае естественно предполагать, что на входе канала следует использовать только те сигналы, спектр которых целиком лежит в указанной полосе. Мы показали выше, что такие сигналы можно получить, если достаточно велико и если в качестве системы ортонормальных функций использовать гармонические функции.

Таким образом, следствие 4.4.1 дает пропускную способность непрерывного канала с аддитивным белым гауссовским шумом с сигналами ограниченной мощности и идеальным полосовым фильтром.

Строго говоря, это утверждение требует некоторого уточнения. Дело в том, что спектр любого сигнала, ограниченного по длительности, отличен от нуля в бесконечной полосе частот. Поэтому часть мощности сигналов ограниченной длительности теряется и требуется учитывать величину потерянной мощности. Заметим, что можно построить сигналы длительности которые имеют максимальную мощность в полосе частот Эти сигналы строятся с помощью упомянутых выше эллиптических функций вытянутого сфероида. Однако можно показать, что часть потерянной мощности стремится к нулю при Как нетрудно увидеть из доказательства прямой теоремы, максимальная вероятность ошибки стремится к нулю также при Используя эти соображения, можно показать, что доказанные обратная и прямая теоремы действительно дают пропускную способность непрерывного канала с идеальным полосовым фильтром.

2. Мы показали, что пропускная способность рассматриваемого канала возрастает с увеличением допустимой полосы частот и стремится к величине Эта величина устанавливает наивысшую скорость передачи в битах в секунду, при которой

возможно за счет усложнения кодирующих и декодирующих устройств, а также за счет увеличения задержки достигнуть сколь угодно малой, заданной наперед, вероятности ошибки. Существуют более сильные обратные теоремы, которые показывают, что при скоростях передачи, превышающих вероятность ошибки не только больше некоторой положительной величины, а даже стремится к единице при увеличении Таким образом, надежную передачу в канале с белым гауссовским шумом можно осуществлять только, когда

Обозначим через энергию, затрачиваемую на передачу одной двоичной единицы информации:

и через энергию шума в полосе частот 1 Гц за 1 секунду:

где мощность шума в полосе

Величина

называется удельным отношением сигнал/шум на бит в полосе 1 Гц за 1 секунду. Очевидно, равно отношению энергий (или мощностей) сигнала и шума, если и передается 1 бит информации. Если известно удельное отношение сигнал/шум, а также объем кода полоса частот и время передачи то можно найти отношение сигнал/шум — отношение мощности сигналов к мощности помех

Условие (4.4.14) дает нижнюю границу для удельного отношения сигнал/шум, при котором возможно осуществить надежную передачу по каналу с аддитивным белым гауссовским шумом:

Если величина не удовлетворяет этому неравенству, то при любом методе передачи вероятность ошибки будет оставаться

большей, чем некоторое положительное число, и стремиться к единице при увеличении к бесконечности. Если же неравенство (4.4.18) удовлетворено, то существует метод передачи (код), для которого максимальная вероятность ошибки принимает произвольно малое значение.

Задачи, упражнения и дополнения

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

КРАТКИЙ ИСТОРИЧЕСКИЙ КОММЕНТАРИЙ И ЛИТЕРАТУРА

Впервые формулы для пропускных способностей непрерывного канала без памяти с дискретным временем с аддитивным гауссовским шумом и канала непрерывного времени с аддитивным белым гауссовским шумом при ограничении на среднюю мощность входных сигналов были получены К. Шенноном [3, 4]. Пропускная способность каналов с аддитивным небелым гауссовским шумом была найдена К. Шенноном [4], строгое обоснование ее вывода было позднее дано М. С. Пинскером [2]. Более полное, чем в настоящей книге, исследование кодирования в канале с гауссовским шумом (в частности, кодирование в каналах с фильтрами) содержится в книге Р. Галлагера [1]. В этой книге рассмотрено кодирование и для более общих моделей канала.

(см. скан)