Глава 7. КОДИРОВАНИЕ В ДВОИЧНЫХ СИММЕТРИЧНЫХ КАНАЛАХ

В этой главе мы рассмотрим кодирование и декодирование сообщений для передачи их по двоичному симметричному каналу. Входной алфавит этого канала состоит из двух символов, которые мы будем обозначать 0 и 1. Его выходное пространство также состоит из двух символов, которые мы также будем обозначать 0 и 1. В результате воздействия шума в канале входной символ переходит в другой символ с вероятностью 1 и остается неизменным с вероятностью (см. рис. 7.1). Мы будем называть «вероятностью искажения». Пропускная способность такого канала в двоичных единицах на символ на входе канала, найденная в разд. 5 3, равна

Значительная часть литературы по кодированию и декодированию посвящена двоичному симметричному каналу ввиду его большой простоты. Хотя все важнейшие результаты, полученные для двоичного симметричного канала, обобщены на более широкие классы каналов, желательно сосредоточить наше внимание на этом простом канале, чтобы избежать излишних математических усложнений, затемняющих существо интересующих нас вопросов кодирования и декодирования. Таким образом, относительно большое внимание, уделяемое здесь, как и в других местах, двоичному симметричному каналу, не следует рассматривать как свидетельство его наибольшей практической значимости и еще в меньшей мере как свидетельство того, что кодирование и декодирование сообщений требует на практике, чтобы реальный физический канал был сведен к двоичному симметричному каналу.

Большинство результатов, изложенных в этой главе, были впервые получены Элайесом [1].

Рис. 7.1. Двоичный симметричный канал.