2.3.2. ПЕРЕДАННАЯ ИНФОРМАЦИЯ. ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛА СВЯЗИ

В разд. 2.3.1 было рассмотрено единственное поле событий а именно алфавит источника, из которого путем операции выбора формируется последовательность символов, несущая информацию. Эта информация должна быть передана по каналу к получателю (см. рис. 2.1). При этом предполагается, что получателю известен алфавит источника. Поступающая к получателю информация также образует некоторое поле событий которое по объему может отличаться от поля источника.

Пусть некоторый символ с вероятностью посланный источником, после передачи по каналу связи появляется у получателя как символ с условной вероятностью Эта вероятность называется условной, потому что она характеризует появление при условии, что был послан символ

В соответствии с (2.6) теперь для пары событий можно определить информацию

Это вытекает из того, что совместная вероятность пары событий, у может быть представлена как произведение вероятности события на вычисленную с учетом его появления условную вероятность события

Порядок следования событий можно изменить:

так как ту же совместную вероятность можно представить в виде произведения вероятности появления на приеме символа на вероятность того, что был передан символ при условии, принят

Количествам информации (2.13) и (2.14) соответствуют математические ожидания информации, т. е. совместная энтропия

и

Условные энтропии выражают степень «развязки» полей событий и На рис. 2.6 это изображается по Схоутену [2.18] в виде двух пересекающихся кругов, причем левый круг представляет правый — а жирно окантованная общая площадь - совместную энтропию

Рис. 2.6. Диаграмма подразделения совместной энтропии : обведенная жирной линией общая площадь — совместная энтропия левый круг — энтропия правый круг — энтропия

При жесткой связи обоих полей событий (идеальная, свободная от шумов передача) оба круга одинаково велйки и совпадают друг с другом, так что заштрихованные площади исчезают. Если, напротив, оба поля события полностью развязаны

(например, из-за разрыва линии связи), то оба круга на рис. 2.6 располагаются отдельно друг от друга, т. е.

В общем случае круги накладываются друг на друга так, что имеется общая часть (канал передачи с шумами).

Составляющие совместной энтропии имеют следующие названия и значение (рис. 2.6 и потерянная часть посланной информации, которая не достигает приемника; она называется ненадежностью канала; та часть воспринимаемой приемником информации, которая не имеет отношения к переданной информации; она называется иррелевантной информацией или энтропией шума. Часть информации, поступившей на вход канала связи, которая достигает приемника,

выражает количество переданной полезной информации.

Рис. 2.7. Передача информации по каналу с шумом (представление по Е. Р. Бергеру)

Среднее количество информации, проходящее по каналу в секунду, называют скоростью передачи информации, (единица измерения — Она зависит от свойств канала и источника, однако при допущении всех возможных способов кодирования входного сигнала можно устранить зависимость от свойств источника и получить максимальное значение скорости передачи информации Оно называется пропускной способностью канала С и зависит от свойств канала.

К. Э. Шеннон показал, что ненадежность канала И при наличии шума можно сделать сколь угодно малой за счет надлежащего кодирования, если скорость поступления информации на вход канала не превышает его пропускной способности.

Очень интересно сравнение пропускной способности каналов различных типов, которое было проведено Марко [2.19]. Рассмотрим с этой целью следующую модель канала связи для

передачи двоичных сигналов (рис. 2.8). Синхронный двоичный канал с интервалом отсчетов содержит двухпозиционный канал с минимальной длительностью элемента а последний, в свою очередь, включает в себя непрерывный канал с ограниченной полосой пропускания В, в котором сигнал подвергается действию шума, характеризующемуся определенным отношением сигнал/шум

Рис. 2.8. Модель канала связи для передачи двоичных сигналов

Это может привести в двухпозиционном канале к краевому искажению а в двоичном канале — к некоторой ошибке в бите с вероятностью

В непрерывном канале пропускная способность Со, умноженная на длительность элемента есть, согласно Шеннону

а для двоичного канала с вероятностью ошибки в бите справедлива соответствующая формула

где — функция Шеннона из (2.12). Выражение для пропускной способности (где двухпозиционного канала при передаче по нему сигнала широтно-импульсной модуляции (ШИМ) получено Марко На рис. 2.9 представлены графики зависимости пропускной способности непрерывного, двоичного и двухпозиционного каналов от отношения (в логарифмических единицах). Как видно, двоичный канал (вследствие присущей ему избыточности по отношению к передаче сигнала) имеет пропускную способность которая в широких пределах не зависит от

отношения сигнал/шум и равна приблизительно 1 бит на элемент сигнала. (В действительности имеет место некоторая зависимость пропускной способности канала от вероятности ошибки определяемой согласно (2.21) отношением однако на рис. 2.9 это практически не сказывается при той точности, с которой изображена кривая для так как в рассматриваемой области значений доля весьма мала.)

Рис. 2.9. Относительная пропускная способность канала с ограниченной полосой двухпозиционного канала. и двоичного канала в зависимости от отношения сигнал/шум в логарифмических единицах