8.5. Пропускная способность двоичного симметричного канала

Если вероятность правильной передачи, то переходная матрица двоичного симметричного канала (рис. 8.5.1; см. разд. 7.4)

Пусть вероятность выбора символа Тогда есть вероятность выбора символа и взаимная информация для этого симметричного по входу канала задается равенством (8.2.2).

Используем логарифм по основанию 2 и временно пропустим индекс 2 у энтропии тогда где с учетом (8.2.1)

Последнее равенство следует из (8.3.4), поэтому

Рис. 8.5.1

Для нахождения заметим, что Легко видеть, что

Для удобства положим

Тогда используя обозначения в (8.3.4),

Для, того чтобы найти пропускную способность канала С, ответим на следующий вопрос: «При каком выборе вероятности взаимная информация будет наибольшей?» По отношению к переменной тот же вопрос можно сформулировать следующим образом: «При каком значении максимальна функция

Из разд. 6.4 следует, что максимальное значение достигается при Поэтому пропускная способность канала

Из (8.5.2) можно найти значение следующим образом:

Перенося некоторые слагаемые в другую часть равенства и группируя их, получаем

Поскольку вероятность канала не равна 1/2 (в противном случае информация не передается), можно разделить обе части равенства на и получить, что Соображения симметрии приводят, конечно, именно к этому результату.

Таким образом, показано, что пропускная способность двоичного симметричного канала задается выражением

и достигается, когда два входных символа выбираются с одинаковыми вероятностями.