IV. НЕПРЕРЫВНЫЙ КАНАЛ

24. Пропускная способность непрерывного канала

В непрерывном канале входные или передаваемые сигналы будут непрерывными функциями времени принадлежащими к некоторому множеству, а выходные или принимаемые сигналы будут их искаженными вариантами. Рассмотрим только такой случай, когда как передаваемые, так и принимаемые сигналы ограничены некоторой полосой частот Тогда в интервале Т они могут быть заданы с помощью чисел, а их статистическая структура описана конечномерными функциями распределения. Таким образом, статистика передаваемого сигнала будет определяться функцией

а статистика шума — условным распределением вероятностей

Скорость передачи информации для непрерывного канала определяется аналогично скорости передачи информации для дискретного канала, а именно

где — энтропия входа, а — ненадежность. Пропускная способность канала С определяется как максимум при варьировании входа по всем возможным ансамблям. Это означает, что для конечномерного приближения надо варьировать и находить максимум

Это можно переписать в виде

пользуясь тем обстоятельством, что Таким образом, пропускная способность канала выражается следующим образом:

Из этого выражения видно, что и С не зависят от системы координат, так как и числитель и знаменатель в будут умножаться на один и тот же множитель при любом взаимооднозначном преобразовании х и у. Это выражение для С в виде интеграла является более общим, чем выражение При надлежащей интерпретации (см. приложение 7) оно всегда будет иметь смысл, в то время как выражение может оказаться в некоторых случаях неопределенностью вида . Это происходит, например, если в случае -мерной аппроксимации х полностью сосредоточено на поверхности меньшего числа измерений.

Если основание логарифмов, используемое при вычислении равно двум, то, как и в дискретном случае, С есть максимальное число битов, которое можно передать за одну секунду по каналу с произвольно малой ненадежностью. Это можно понять физически, разделив пространство сигналов на большое число малых ячеек. Ячейки делаются настолько малыми, чтобы плотность вероятности того, что сигнал х в результате действия шума перейдет к точке у, т. е. была фактически постоянной по всей ячейке (как по х, так и по Если ячейки рассматриваются как отдельные точки, то по существу имеется дискретный канал, и использованные там доказательства будут применимы и здесь. Но физически ясно, что такая квантизация объема на отдельные точки не может в любом практическом случае существенно изменить конечный результат, если только ячейки достаточно малы. Поэтому пропускная способность будет пределом пропускных способностей для дискретных подразбиений, а это и есть пропускная способность для непрерывного случая, как она определена выше.

Математически можно показать прежде всего (см. приложение 7), что если и есть сообщение, передаваемый сигнал, у — принятый сигнал (искаженный шумом) и — восстановленное по принятому сигналу сообщение, то

независимо от того, какие операции производились над и, чтобы получить х, или над у для получения Таким образом, независимо от того, как закодировать двоичные знаки для создания сигнала

или как будет декодироваться принятый сигнал для восстановления сообщения, скорость дискретной передачи двоичных знаков не превысит определенную выше пропускную способность канала. С другой стороны, при весьма общих условиях можно найти систему кодирования, обеспечивающую передачу двоичных знаков со скоростью С при сколь угодно малой ненадежности или частоте ошибок. Это справедливо, например, когда берется для сигнальных функций конечномерное аппроксимирующее пространство и при этом оказывается непрерывной как по х, так и по у, за исключением множества точек нулевой вероятности.

Важный частный случай имеет место, когда шум прибавляется к сигналу, причем шум не зависит от сигнала (в вероятностном смысле). Тогда есть функция только разности (векторной)

и можно приписать шуму определенную энтропию (независимо от статистики сигнала), а именно энтропию распределения Эта энтропия будет обозначаться

Теорема 16. Если сигнал и шум независимы, а принимаемый сигнал является суммой передаваемого сигнала и шума, то скорость передачи равна

т. е. энтропии принимаемого сигнала за вычетом энтропии шума. Пропускная способность канала равна

Так как то имеем

Разлагая левую часть и пользуясь независимостью найдем

Отсюда

Так как не зависит от то для максимизации нужно максимизировать энтропию принимаемого сигнала, Если на ансамбль передаваемых сигналов наложены некоторые ограничения, то энтропия принимаемых, сигналов должна быть максимизирована с учетом этих же ограничений.