15. Пример дискретного канала и его пропускной способности

Простой примердискретного канала показан на рис. 11. Имеются три возможных символа. Первый символ не подвергается воздействию шума. Второй и третий символы имеют вероятность пройти неискаженными и вероятность превратиться в другой символ той же пары.

Рис. 11. Пример дискретного канала.

Пусть и пусть и — вероятности передачи соответственно первого, второго и третьего символов (при этом две последние вероятности равны по соображениям симметрии). Имеем

Требуется выбрать Р и так, чтобы максимизировать , соблюдая при этом условие Поэтому рассмотрим

Исключая К, получим

Пропускная способность канала равна

Заметим, что полученные выражения дают очевидные ответы в случаях . В первом случае

что правильно, так как в этом случае имеется канал без шума с тремя возможными символами. Если то Здесь второй и третий символы не могут быть отличены друг от друга и они воспринимаются как один символ. Первый символ передается с вероятностью и второй с третьим вместе — с вероятностью Эта вероятность может быть распределена между вторым и третьим символами произвольным образом, и при этом всегда будет достигаться максимальная пропускная способность.

При промежуточных значениях пропускная способность канала будет заключена между Различие между вторым и третьим символами несет некоторое количество информации, но не так много, как в случае отсутствия шума. Первый символ передается несколько чаще, чем два остальных, так как на него не воздействует шум.