5.2. Дискретные постоянные каналы

Из большого разнообразия возможных каналов самый элементарный класс образуют односторонние дискретные постоянные каналы, т. е. каналы с одним входом и одним выходом и с дискретными входными и выходными пространствами событий, связанными фиксированным условным распределением вероятностей.

Односторонний дискретный постоянный канал описывается входным пространством X, содержащим точек х, выходным пространством У, содержащим точек у, и условным распределением вероятностей Обозначим через входное событие (в порядке их появления) и через соответствующее выходное событие. Событием может быть любая из точек пространства X, т. е. из символов входного алфавита. Аналогично может быть любой точкой пространства У, т. е. символом выходного алфавита.

Пусть

— произвольная последовательность из -входных событий, а

— соответствующая последовательность выходных событий. По определению постоянного канала условное распределение вероятностей остается одним и тем же для каждого целого независимо от всех предшествующих событий и равным при

Следовательно,

Согласно блок-схеме рис. 1.1, кодер канала задает события на входе канала на основе поступающих на его вход предназначенных для передачи двоичных символов. Например, он может разбивать последовательность двоичных символов на последовательные сообщения и сопоставлять каждому сообщению некоторую последовательность из событий, принадлежащих входному пространству Тогда статистические характеристики последовательности входных событий будут зависеть от вида преобразования двоичных символов в события, осуществляемого кодером канала.

Пусть - совместное распределение вероятностей последовательных событий на входе канала. С помощью равенства (5.3) можно легко вычислить совместное распределение вероятностей соответствующих выходных событий. Получаем

где ансамбль последовательностей на входе. Если обозначить через ансамбль то есть произведение ансамблей последовательных входных событий

Среднее значение взаимной информации между входными и выходными последовательностями имеет вид

где обозначает ансамбль выходных последовательностей. Если ансамбль то произведение, или ансамблей последовательных выходных событий.

Энтропию ансамбля выходных последовательностей можно выразить в виде суммы условных энтропий последовательных событий при заданных предшествующих событиях

где

С помощью равенства (5.3) легко вычислить условную энтропию в правой части равенства (5.5). Получаем

где - условная энтропия выходного события при заданном соответствующем входном событии. Она зависит от распределения вероятностей входного события и поэтому, вообще говоря, различна для последовательных входных событий.

Подставляя выражения (5.7) и (5.8) в равенство (5.5), получаем следующее выражение для средней взаимной информации между входной и выходной последовательностями событий.

где при сводится к . Величина этой средней взаимной информации зависит, конечно, как от распределения вероятностей последовательностей входных событий, так и от условного распределения вероятностей характеризующего канал. Средняя взаимная информация является мерой количества информации, содержащейся в среднем в выходных событиях относительно соответствующих входных событий. С другой стороны, события на входе канала однозначно определяются двоичными символами на входе кодера канала. Отсюда следует, что измеряет также количество информации, содержащейся в среднем в событиях на выходе канала относительно двоичных символов на входе кодера канала.

Мы видим, далее, что средняя взаимная информация на событие является функцией и распределения вероятностей для входных событий, которое может произвольно варьироваться путем соответствующего выбора метода кодирования, осуществляемого кодером канала. Следовательно, мы можем определить информационную пропускную способность для любого дискретного постоянного канала как максимальное значение взятое по всевозможным

распределениям вероятностей и всем целым положительным

Следующие две теоремы показывают, что это максимальное значение достигается, каково бы ни было когда события на входе статистически независимы и имеют одно и то же распределение вероятностей.

Теорема. Пусть - совместное распределение вероятностей входных событий, а - распределения вероятностей отдельных событий. Пусть, далее, -средняя взаимная информация между входными событиями и соответствующими выходными событиями, а средняя взаимная имформация между входным событием и соответствующим выходным событием. Тогда для любого дискретного постоянного канала

где знак равенства имеет место тогда и только тогда, когда либо входных событий статистически независимы, либо выходные события статистически не зависят от входных (в этом случае

Доказательство. Из выражения (2.105) мы имеем

где

— энтропия выходного события. Подставляя неравенство (5.12) в равенство (5.9), получаем неравенство (5.11).

Знак равенства имеет место в выражении (5.12), а значит, и в (5.11) тогда и только тогда, когда события на выходе статистически независимы. В свою очередь это имеет место тогда и только тогда, когда либо соответствующие входные события статистически независимы и в этом случае либо

либо выходные события статистически не зависят от входных событий. Ч. Т. Д.

Теорема. Пусть условное распределение вероятностей для дискретного постоянного канала, а произвольное распределение вероятностей на входном пространстве канала. Тогда пропускная способность канала есть максимальное среднее значение взаимной информации)

вычисленное по всевозможным распределениям вероятностей т. е.

Доказательство. Из предыдущей теоремы следует, что максимизацию средней взаимной информации между входными событиями и выходными событиями по можно осуществить, образуя из статистически независимых событий и максимизируя по отдельности для каждой пары событий. С другой стороны, равно при а потому максимальное значение каждой информации равно правой части выражения (5.16). Отсюда следует, что пропускную способность, определяемую равенством (5.10), можно вычислять по формуле (5.16). Ч. Т. Д.

Вычисление пропускной способности дискретного постоянного канала на основе формулы (5.16) не представляет

каких-либо принципиальных трудностей, хотя может быть весьма сложным. Следующий раздел посвящен вычислению пропускной способности некоторых каналов, для которых процесс максимизации особенно прост. Максимизация для общего случая будет обсуждена в разд. 5.5.