5.3. Симметричные постоянные каналы

Для наших целей удобно представить условное распределение вероятностей характеризующее дискретный постоянный канал в виде матрицы

где соответственно числа точек в входном и выходном пространствах.

Вычисление пропускной способности дискретного постоянного канала становится особенно простым, когда матрица канала обладает следующими специфическими свойствами. Говорят, что канал симметричен по входу, когда все строки являются перестановками одного и того же множества чисел Важность этого свойства следует из того, что для любого канала, обладающего этим свойством, условная энтропия

имеет одинаковое значение для всех точек из X, т. е. для всех входных символов. Это означает, что, когда канал симметричен по входу, шум в канале в одинаковой степени нарушает передачу каждого из возможных входных символов.

Говорят, что канал симметричен по выходу, когда столбцы матрицы являются перестановками одного и того же множества из чисел. Значение этого свойства объясняется тем, что для любого канала, обладающего этим свойством, равномерное распределение вероятностей на входе приводит к

равномерному же распределению вероятностей на выходе Это очевидно из соотношения

Канал симметричный как по входу, так и по выходу называют симметричным. Пропускную способность любого такого канала можно легко вычислить с помощью следующей теоремы.

Теорема. Пропускная способность дискретного, постоянного, симметричного по входу канала удовлетворяет неравенству

где числа элементы каждой из строк Знак равенства имеет место всякий раз, когда канал симметричен как по входу, так и по выходу. В этом случае пропускная способность реализуется, когда распределения вероятностей на входе и выходе равномерны.

Доказательство. В силу равенства (5.18), среднюю взаимную информацию между входными и выходными символами можно записать в виде

С другой стороны, из неравенства (2.90) мы имеем

где число точек в выходном пространстве. Тогда, подставляя неравенство (5.22) в равенство (5.21) и учитывая равенство (5.16), получим выражение (5.20).

Из теоремы, в которой доказано неравенство (2.90), следует, что знак равенства в выражении (5.22) имеет место тогда и только тогда, когда распределение вероятностей на выходе равномерно, т. е. когда для всех выходных символов. Однако распределение вероятностей на входе при котором равномерно, может и не существовать. Если такое распределение вероятностей существует, то в неравенстве (5.20) имеет место знак равенства.

Мы видели, что если канал симметричен по выходу, то равномерное распределение вероятностей на входе влечет равномерное распределение вероятностей на выходе. Отсюда следует, что в случае симметричного канала в выражении (5.20) имеет

место знак равенства, и когда распределения вероятностей на входе и выходе равномерны, то средняя взаимная информация равна пропускной способности канала. Следует заметить, что знак равенства в выражении (5.20) может иметь место и для канала несимметричного по выходу. Ч. Т. Д.

Полагая и

получим пример симметричного канала. Для этого примера по доказанной теореме имеем

Простейшим и наиболее известным типом симметричного канала является двоичный симметричный канал, показанный на рис. 5.1.

Рис. 5.1. Двоичный симметричный канал.

Его пронускную способность можно легко определить по формуле (5.24), полагая Используя логарифмы с основанием 2, имеем

График этой пропускной способности как функции от имеет вид кривой рис. 2.9, перевернутой вверх ногами.

На рис. 5.2 дан пример простого канала симметричного по входу, но несимметричного по выходу. Этот канал отличается от двоичного симметричного канала рис. 5.1 наличием выходного символа который с вероятностью может появиться при передаче каждого из двух входных символов.

Появление в последовательности выходных событий символа эквивалентно стиранию события, так как соответствующим

входным событием с равными вероятностями могут быть как так и

Специфическая симметрия этого канала позволяет легко вычислить его пропускную способность. Так как этот канал симметричен по входу, то средняя взаимная информация между входными и выходными символами определяется по формуле (5.21), где Из выражения (5.21) следует, что распределение вероятностей на входе, которое максимизирует максимизирует также

Рис. 5.2. Двоичный симметричный канал со стиранием.

Легко можно убедиться в том, что имеет максимальное значение, когда входные символы равновероятны. В этом случае

Следовательно, пропускная способность канала в двоичных единицах на событие равна

В частном случае при может возникнуть только от только от т. е. помехи в канале отсутствуют, если не считать стираний, возникающих с вероятностью Пропускная способность такого канала со стиранием будет в соответствии с равенством (5.27) равна

Иначе говоря, пропускная способность такого двоичного канала со стиранием равна пропускной способности двоичного канала при отсутствии в нем шума (одна двоичная единица) минус вероятность стирания