1.3. МОДЕЛИ КАНАЛОВ И КОДИРОВАНИЕ ДЛЯ КАНАЛОВ

Для того чтобы описать математически модель канала, мы, во-первых, определим множество возможных сигналов на входе канала (или просто входов канала), во-вторых, множество возможных сигналов на выходе (или выходов канала) и, в-третьих, для каждого сигнала на входе вероятностную меру на множестве сигналов на выходе.

Простейший класс моделей каналов образуют дискретные каналы без памяти; они определяются следующим образом. Входом является последовательность букв из конечного алфавита, пустьаи выходом — последовательность букв из того же самого или другого алфавита, скажем Наконец, каждая буква выходной последовательности зависит статистически только от буквы, стоящей на соответствующей позиции во входной последовательности, и определяется заданной условной вероятностью определенной для всех букв алфавита на входе и всех букв алфавита на выходе. Примером может служить двоичный симметричный канал (рис. 1.3.1), который представляет собой дискретный канал без памяти с двоичными последовательностями на входе и выходе, в котором каждый символ последовательности на входе с некоторой фиксированной вероятностью воспроизводится на выходе канала правильно и с вероятностью изменяется шумом на противоположный символ. В общем случае, в дискретном канале без памяти переходные вероятности исчерпывают собой все известные сведения о том, как сигнал на входе, взаимодействуя с шумом, образует сигнал на выходе.] В дальнейшем будет описано, как дискретные каналы без памяти связаны с реальными каналами.

Рис. 1.3 1. Двоичный симметричным канал.

Намного более широкий класс каналов (эти каналы будут называться каналами с памятью) образуют каналы, в которых сигналами на входе снова являются последовательности букв из конечных алфавитов, но в которых каждая буква последовательности на выходе может статистически зависеть не только от соответствующей буквы входной последовательности.

Другой класс моделей каналов, которые имеют более непосредственное сходство с физическими каналами, является класс, в котором как множество входных, так и множество выходных сигналов представляют собой множества функций времени и для каждой заданной функции на входе выход — случайный процесс. Частной моделью из этого класса, которая имеет большую теоретическую и практическую важность, является канал с аддитивным белым гауссовым шумом. Множеством сигналов на входе для такой модели является множество функций времени, удовлетворяющих заданному ограничению сверху на мощность, а сигналы на выходе — сумма сигнала на входе и белого гауссового шума. При использовании этой модели для физического канала с затуханием в качестве входа в модели берется, естественно, сигнал на входе физического канала после его затухания в канале.

При передаче двоичных данных по каналу из рассмотренных выше классов часто бывает удобно разделить как кодер для канала, так и декодер для канала на две части, как показано на рис. 1.3.2. Выходом

кодера для дискретного канала на рис 1.3.2 является последовательность букв из конечного алфавита Эти буквы производятся 30 времени с некоторой фиксированной скоростью (одна буква, например, за каждые секунд). В каждом интервале секунд модулятор дискретных данных (МДД) производит одну функцию из заданного множества функций определенных на интервале длины Какая именно из этих функций будет произведена, определяется буквой, поступающей на МДД в течение этого интервала: так, приводит к приводит к Таким образом, вся функция на входе канала имеет вид

где последовательность определяется соответствующими символами на входе

Рис. 1.3.2 Представление непрерывного канала как дискретного канала.

Демодулятор дискретных данных (ДДД) принимает поступающие из канала функции и преобразует их в последовательности букв конечного алфавита, производя буквы вновь со скоростью одна буква за каждые секунд. В простейшем случае каждая буква, выходящая из ДДД, является решением (возможно, что неправильным) о том, какая буква поступила на МДД в соответствующем временном интервале, и в этом случае алфавит будет совпадать с алфавитом на входе МДД. В более сложных случаях выход ДДД будет также содержать информацию о том, насколько правдоподобно решение; в этих случаях выходной алфавит ДДД будет больше, чем входной алфавит МДД.

Как можно заметить из рис. 1.3.2, совокупность МДД, канала, по которому передаются непрерывные сигналы, и ДДД может быть рассмотрена как дискретный канал; именно поэтому дискретные каналы играют большую роль при моделировании физических каналов. Если шум на последовательных интервалах по секунд является независимым, что имеет место в случае аддитивного белого гауссового шума, то описанный рышр дискретный канал является также каналом без памяти.

Рассматривая кодирование и декодирование для класса дискретных каналов, мы, во-первых, получим некоторые результаты, касающиеся кодера и декодера для дискретного канала, входящего в систему, изображенную на рис. 1.3.2, и, во-вторых, сможем использовать эти результаты для того, чтобы в какой-то степени понять, как можно построить МДД и ДДД в такой системе.

Одним из наиболее важных параметров канала является его пропускная способность. Пропускная способность будет определена в гл. 4 и там будет показано, как ее найти для широкого класса дискретных каналов; в гл. 7 и 8 эти рассмотрения будут обобщены, так чтобы охватить недискретные каналы. Пропускная способность определяется с помощью информационной меры, подобной той, которая была использована при рассмотрении источников, и пропускная способность интерпретируется как максимальное среднее количество информации (в битах в секунду), которое может быть передано по каналу. Оказывается, что пропускная способность недискретного канала может быть сколь угодно точно приближена пропускной способностью дискретного канала, который получается из исходного недискретного канала при соответствующем выборе модулятора дискретных данных и демодулятора дискретных данных.

Важность понятия пропускной способности канала основана прежде всего на теореме кодирования для канала с шумами и ее обращении. Грубо говоря, эта теорема кодирования, справедливая для широкого класса каналов, утверждает, что если пропускная способность канала равна С бит в секунду и если двоичные данные поступают на вход кодера этого канала (см. рис. 1.1.2) со скоростью (в двоичных символах в секунду) то с помощью соответствующим образом построенных кодера и декодера можно воспроизводить двоичные символы на выходе декодера со сколь угодно малой вероятностью ошибки. Этот результат точно сформулирован и доказан в гл. 5 для дискретного канала и в гл. 7 и 8 для недискретных каналов. Далеко идущее значение этой теоремы будет обсуждаться ниже в этом параграфе, однако до гл. 5 на интуитивном уровне можно сказать не так уж много. Если объединить этот результат с теоремой кодирования для источников, которая была указана в предыдущем параграфе, то найдем, что если дискретный источник имеет энтропию (в битах в секунду) меньшую, чем С, то выход источника может быть воспроизведен на приемном конце с произвольно малой вероятностью ошибки с помощью использования соответствующего кодирования и декодирования. Аналогично для недискретного источника, если R является минимальным числом двоичных символов в секунду, требующихся, чтобы воспроизвести выход источника с данным уровнем среднего искажения, и если то выход источника может быть передан по каналу и воспроизведен с этим уровнем искажения.

Обращение теоремы кодирования формулируется и доказывается при различной степени общности в гл. 4, 7 и 8. В не очень строгой формулировке она утверждает, что если энтропия дискретного источника в битах в секунду больше, чем С, то независимо от кодирования и декодирования, использованных при передаче выхода источника по каналу,

вероятность ошибки при воспроизведении выхода источника на приемном конце не может быть меньше, чем некоторое положительное число, которое зависит от источника и от С. Так же как показано в гл. 9, если R является минимальным числом двоичных символов в секунду, требуемых для воспроизведения источника с заданным уровнем среднего искажения, и если С, то независимо от кодирования и декодирования выход источника не может быть передан по каналу и воспроизведен с этим заданным уровнем среднего искажения.

Наиболее удивительным и важным среди указанных выше результатов является теорема кодирования для канала с шумами, которую мы обсудим сейчас более детально. Предположим, что требуется передать данные по дискретному каналу и что по каналу передается одна входная буква за каждые секунд. Предположим также, что двоичные данные поступают на кодер для канала со скоростью R двоичных символов в секунду. Рассмотрим частный вид кодеров для канала, которые называются блоковыми кодерами; блоковый кодер работает следующим образом. Кодер накапливает двоичные символы на входе кодера в течение некоторого фиксированного интервала Т секунд, где Т является конструктивным параметром кодера. Во время этого интервала TR двоичных символов поступают на кодер (для простоты мы пренебрегаем здесь тем, что TR может не быть целым числом). Кодер можно представить себе как устройство, которое имеет список всех возможных последовательностей TR двоичных символов и сопоставленного каждой из этих последовательностей кодового слова, состоящего из последовательности букв на входе канала. При получении некоторой отдельной последовательности TR двоичных символов кодер отыскивает эту последовательность в списке и передает по каналу соответствующее кодовое слово из списка. Требуется Т секунд, чтобы передать буквенное кодовое слово по каналу, и за это время другая последовательность TR двоичных символов поступит на кодер и начнется передача следующего кодового слова. Простой пример такого кодера представлен на рис. 1.3.3. В этом примере, когда двоичная последовательность поступает на кодер, то 00 является входом кодера на первом интервале в Т секунд, и в конце этого интервала формируется кодовое слово и передается за интервал времени в Т секунд. Аналогично 11 является входом кодера на Ътором интервале времени в Т секунд, и -соответствующим кодовым словом, передаваемым в течение третьего интервала времени.

Декодер для такого блокового кодера работает аналогичным образом. Декодер накапливает N принятых символов, поступающих из канала и соответствующих переданному кодовому слову, и строит решения (возможно неправильные) относительно соответствующих TR двоичных символов, которые поступили на кодер. Можно считать, что эта процедура решения выполняется декодером с помощью спискавсех возможных принимаемых последовательностей из N символов и соответствующей каждой из этих последовательностей последовательности из TR двоичных символов.

Для данного дискретного канала и данной скорости R (в двоичных символах в секунду) поступления символов на кодер имеется свобода

в выборе, во-первых, Т (или, что эквивалентно, свободе в выборе во-вторых, множества кодовых слов и, в-третьих, правила решения. Вероятность ошибки в декодированных двоичных данных, сложность системы и задержка при декодировании зависят от этих выборов. В гл. 5 будет установлено следующее соотношение между параметром Т и вероятностью ошибочного декодирования блока TR двоичных символов. Будет показано, что для широкого класса каналов можно выбрать кодовых слов и правило решения таким образом, что

Функция является функцией R (числа двоичных символов в секунду, поступающих на кодер) и зависит от модели канала, но не зависит от Показывается, что убывает с ростом но остается положительной при всех R меньших, чем пропускная способность (рис. 1.3.4).

Рис. 1.3.3. Пример кодера для дискретного канала,

Рис. 1.3 4. График функции для типичной модели канала.

Оказывается, что приведенная выше граница для является довольно точной, и не является нецелесообразным рассмотрение в качестве оценки минимальной вероятности ошибки (по всем выборам кодовых слов и всем правилам решения), которая может быть достигнута при использовании блокового кодера с заданным временем Таким образом, чтобы сделать малой, необходимо выбрать Т большим, и чем R ближе к С, тем больше должно быть

В гл. 6 будут рассмотрены способы построения кодеров и декодеров для канала. Трудно дать простые утверждения, касающиеся сложности и вероятности ошибки этих устройств. Однако, грубо говоря, не трудно заметить, что сложность увеличивается с ростом времени Т (для наилучших способов, приближенно линейно с что убывает с ростом Т при фиксированной R и что Т должно возрастать вместе с ростом R для достижения фиксированного значения Следовательно, грубо говоря, имеется обменное соотношение между сложностью, скоростью и вероятностью ошибки. Чем ближе R к пропускной способности и чем меньше тем требуется большая сложность кодера и декодера.

Имея в виду указанное выше обменное соотношение, на рис. 1.3.2 можно увидеть с большей ясностью практические преимущества

разделения кодера и декодера на две части. В последние годы стоимость цифровых логических устройств постоянно снижалась, в то время как такой революции не было в технике аналоговых устройств. Таким образом, в сложной системе желательно выполнить самые сложные операции в цифровой части системы. Это не говорит, конечно, о том, что аналоговые системы связи полностью вышли из моды, но просто говорит, что, когда отдается предпочтение цифровым системам, возникают многие преимущества не существовавшие еще десять лет тому назад.

ИСТОРИЧЕСКИЕ ЗАМЕЧАНИЯ И ССЫЛКИ

Многое в современной теории связи исходит из работ Шеннона (1948), Винера (1949) и Котельникова (1947). Все они ясно понимали фундаментальную роль шума в ограничении точности передачи в системах связи, а также желательность моделирования как сигнала, так и шума с помощью случайных процессов. Винер интересовался отысканием наилучшего линейного фильтра для разделения сигнала и аддитивного шума при заданной задержке, и его работа оказала важное влияние на последующие исследования в теории модуляции. Кроме того, интерес Винера к приему с отрицательной задержкой (т. е. к предсказанию) вместе с работой Колмогорова (1941) по предсказанию в отсутствии шума дали важный толчок в развитии теории управления. Аналогично Котельников интересовался обнаружением и оценкой сигналов на приемном конце. Хотя его работа не так широко известна и используется в Соединенных Штатах (как должно было быть), она внесла значительное понимание как аналоговой модуляции, так и дискретной модуляции.

Работа Шеннона много больше, чем остальные, связана с дискретной техникой и, что более важно, сфокусирована на кодере и декодере в совокупности. Благодаря этому совместному рассмотрению и благодаря тому, что она не ограничивается частными типами приемных устройств, теория Шеннона дает наиболее общие из известных концепций, которые можно заложить в основу при изучении эффективной и надежной передачи.

Хорошее теоретическое введение в теорию связи дают учебники Возенкрафта и Джекобса (1965) и Сакрисона (1968).