4. ДИСКРЕТНЫЕ КАНАЛЫ БЕЗ ПАМЯТИ И ПРОПУСКНАЯ СПОСОБНОСТЬ

В предыдущей главе была рассмотрена задача представления выхода источника информации с помощью букв кодового алфавита. На этом пути были найдены несколько наглядных толкований собственной информации и энтропии, а также был получен ряд простых и ясных результатов, касающихся кодирования для источника. Было установлено, что трудности применения теории обусловлены не ее сложностью, а трудностью представления реальных информационных источников разумными вероятностными моделями. В этой и последующих главах будет рассмотрена передача информации по каналам с шумами. В ходе этого рассмотрения будет получено более ясное понимание природы взаимной информации и найдены некоторые глубокие и имеющие большое значение результаты, касающиеся кодирования для канала с шумами. Будет показано, что эти результаты не так просты, как результаты, относящиеся к кодированию для источников, но они имеют очень большое практическое значение. Это значение проистекает из того, что для многих реальных каналов связи могут быть построены достаточно простые и полезные вероятностные модели и что применение теории к этим моделям приводит к нетривиальному проникновению в задачи построения систем связи.

4.1. КЛАССИФИКАЦИЯ КАНАЛОВ

Каналы связи могут быть описаны в терминах множества входных сигналов, которые имеются на входе канала; множества выходных сигналов, имеющихся на выходном конце канала, и (для каждого входного сигнала) вероятностной меры на выходных событиях при условии, что задан этот входной сигнал.

Вначале рассматривается дискретный канал без памяти. Это такой канал, вход и выход которого представляют собой последовательности букв конечных алфавитов и для которого выходная буква в данный момент статистически зависит лишь от соответствующей входной буквы.

В гл. 7 рассматривается канал другого типа, а именно непрерывный по амплитуде, дискретный по времени канал без памяти. Входом и выходом в нем являются последовательности букв из алфавитов, состоящих из множества действительных чисел (или, в более общем случае, из векторов с действительными компонентами) и опять выходная буква в данный момент времени статистически зависит лишь от входа в соответствующий момент. Можно также рассмотреть каналы, в которых вход

является дискретным, а выход непрерывным или наоборот, но это оказывается тривиальным видоизменением.

Еще один тип канала, который будет рассмотрен в гл. 8, является непрерывным по времени каналом, в котором входом и выходом являются функции. Какая из описанных выше моделей канала используется для описания заданной линии связи, часто является вопросом выбора. Так, например, канал, изображенный на рис. 4.1.1, можно рассматривать и как дискретный и как непрерывный по времени. Если вначале интересоваться кодером и декодером на рис. 4.1.1, то удобно рассматривать модулятор и демодулятор дискретных данных как часть канала, и в этом случае канал является дискретным.

Рис. 4.1.1. Выбор модели канала.

С другой стороны, если интерес представляет построение как кодера, так и модулятора дискретных данных или если появляется потребность рассмотреть два этих устройства как единое целое, то соответствующий канал рассматривается, как непрерывный.

В последнем параграфе этой главы будут рассмотрены дискретные каналы с памятью; это такие каналы, в которых выход в данный момент статистически зависит как от текущего входа, так и от предыдущих входов и выходов. Память в дискретной модели канала возникает в силу целого ряда причин, действующих в реальных каналах. Одна из очевидных причин состоит в межсимвольной интерференции, происходящей из-за фильтрации в канале. В этом случае выходной символ статистически зависит от нескольких входных символов. Другой причиной являются замирания в канале. Заманчиво представлять себе каналы с замираниями как изменяющиеся со временем каналы без памяти. Однако такое представление в некотором смысле неудачно, так как замирания обычно наилучшим образом моделируются как статистическое явление и должны быть учтены в определении вероятностей выходов при заданных входах. Так, например, при передаче двоичных символов по каналу с замираниями, относительно медленными по сравнению со скоростью передачи в битах, ошибки будут иметь тенденцию

группироваться вместе под влиянием замираний, вместо того чтобы быть статистически независимыми друг от друга. Таким образом, канал обладает памятью в том смысле, что он помнит, когда он находится в плохом состоянии и имеет тенденцию оставаться в плохом состоянии в течение определенного интервала времени.