16. Пропускная способность канала в некоторых частных случаях

Если шум воздействует на последовательные символы в канале независимо, то канал может быть описан множеством переходных вероятностей где ресть вероятность того, что если послан символ то будет принят символ Пропускная способность канала равна в этом случае максимуму выражения

где мы варьируем соблюдая условие Применение метода Лагранжа приводит нас к уравнениям

Умножение на и суммирование по показывают, что . Обозначим обратную матрицу к (если она существует) через так что Тогда

Отсюда

или

Это — система уравнений для определения максимизирующих значений причем С должно быть определено таким образом, чтобы Когда это выполнено, С будет пропускной способностью канала, соответствующими вероятностями для символов канала, для которых достигается эта пропускная способность.

Если каждый входной символ имеет одинаковое множество вероятностей, изображенных на схеме исходящими от него линиями, и это же справедливо для каждого выходного символа, пропускная способность может быть легко вычислена.

Рис. 12. Примеры дискретных каналов с теми же самыми переходными вероятностями для каждого входа и каждого выхода.

Примеры показаны на рис. 12. В таком случае не зависит от распределения вероятностей между входными символами и равняется — где — значения переходных вероятностей от любого входного символа. Пропускная способность канала равна

Максимум очевидно, равен где — число выходных символов, так как все они могут быть сделаны равновероятными, если сделать равновероятными входные символы. Поэтому пропускная способность канала равна

На рис. 12, а пропускная способность С была бы равна

Это значение могло бы быть достигнуто при использовании лишь первого и третьего символов. На рис. 12, б имеем:

На рис. 12, б имеем:

Предположим, что символы распадаются на различные группы таким образом, что шум не превращает символы одной группы в символы другой группы. Пусть пропускная способность для группы равна (в битах в секунду), если передаются только символы этой группы. Тогда легко показать, что для наилучшего использования всей совокупности суммарная вероятность всех символов в группе должна быть равна

Внутри группы эти вероятности распределяются как раз в такой пропорции, как если бы они были единственно используемыми. Пропускная способность канала равна