§ 3.5. Информационная емкость дискретных каналов без памяти

В этом параграфе мы покажем, что в случае дискретных каналов без памяти формула (3.4.3), по которой вычисляется информационная емкость, может быть упрощена, а именно можно опустить максимизацию по и всегда полагать Кроме того, мы выведем итерационный алгоритм вычисления информационной емкости произвольных дискретных каналов без памяти.

3.5.1. Упрощение формулы (3.4.3).

Пусть переходные вероятности, задающие дискретный канал без памяти. По определению такого канала

для любых последовательностей

Ансамбли последовательностей сообщений на входе и выходе канала можно представить как произведение ансамблей соответственно, где ансамбли входных и выходных сигналов канала в момент времени Конечно, множества входных и выходных сигналов в каждый моментовременн — это множества соответственно.

Теорема 3.5.1. Информационная емкость С дискретного канала без памяти определяется соотношением

где максимум разыскивается по всем распределениям вероятностей на

Доказательство. Пусть произвольное распределение вероятностей на входе канала. Рассмотрим среднюю взаимную информацию между входным и выходным ансамблями канала, вычисленную в соответствии с распределением Имеем

где средняя взаимная информация между ансамблями в момент времени определяемая переходными вероятностями канала и распределением вероятностей на входе в момент времени

В неравенстве (3.5.3) имеет место знак равенства, если ансамбли статистически независимы, т. е. если

для всех Нетрудно видеть, что для дискретного канала без памяти это условие выполняется, если выбрать Действительно, в этом случае

Далее, для произвольного входного распределения из (3.5.3) имеем

где последнее равенство имеет место в силу стационарности канала (независимости переходных вероятностей от

Таким образом, мы показали, что для произвольного распределения вероятностей на входе дискретного канала без памяти имеет место неравенство (3.5.6), равенство в котором может быть достигнуто при т. е. когда входные сигналы статистически независимы и одинаково распределены. Отсюда следует, что

В правой части соотношения (3.5.7) стоит знак а не так как множество всех распределений на конечном множестве X замкнуто (см. сноску на стр. 167). Теорема доказана.