13. Пример, в котором внутренняя и внешняя границы различны

Внутренняя и внешняя границы для области пропускной способности, которые были описаны выше, не всегда совпадают. Это показал Давид Блекуэлл на примере двоичного умножающего канала,

определяемого соотношением Внутренняя и внешняя границы для этого канала могут быть явно вычислены и их график представлен на рис. 13.

Рис. 13.

Видно, что они существенно различны, особенно в средней части. Вычисление внутренней границы в этом случае сводится к нахождению огибающей точек

Это есть скорости при независимых распределениях вероятностей на обоих концах: — вероятность использования 1 на конце — вероятность использования 1 на конце 2. Вычисляя эти скорости различных можно получить огибающую, изображенную рисунке.

При вычислении внешней границы необходимо использовать огибающую скоростей для зависимых распределений вероятностей. Однако легко видеть, что любое распределение, у которого вероятность Р (0,0) положительна, можно улучшить, приписывая эту вероятность одной из других возможных пар. Поэтому снова имеется двухпараметрическое семейство точек (так как сумма остальных

трех вероятностей должна равняться 1). Если эти вероятности обозначить

то получим скорости

Здесь снова прямое вычисление при различных значениях и приводит к огибающей, изображенной на рисунке.

В связи с этим каналом Хегельбергер (D. W. Hagelbarger) предложил интересный и простой код (хотя и не являющийся блоковым), который свободен от ошибок и имеет средние скорости передачи находящиеся на незначительном расстоянии от нашей нижней границы. Его метод кодирования заключается в следующем: 0 и 1 передаются с каждого конца с независимыми вероятностями 1/2, 1/2. Если на выходе получается 0, тогда в начале следующего двоичного сигнала посылается сигнал, противоположный только что посланному перед ним сигналу. Этот прием производится на обоих концах. Если же получается 1, тогда на обоих концах переходят к передаче следующего двоичного знака сообщения. Можно заметить, что в среднем 3/4 времени занимает посылка противоположных сигналов и одна четверть времени употребляется для передачи нового сообщения. Таким образом, среднее число использований канала, нужных для передачи одного двоичного сообщения, составляет Средняя скорость передачи по обоим направлениям есть Кроме того, нетрудно видеть, что передаваемые двоичные сообщения могут быть декодированы без ошибок для каждого направления передачи.

Используя источники сообщений на каждом конце канала с несколько смещенными вероятностями, можно несколько улучшить схему Хегельбергера. Так, если 1 встречается как сигнал двоичного сообщения с вероятностью с вероятностью 0,37, то по обоим направлениям получаются скорости

В одном из последующих разделов будет получен результат, который в принципе позволяет находить для канала точную область

пропускной способности. Однако при этом используется предельный процесс над словами возрастающей длины и, следовательно, в большинстве случаев вычисления очень трудны. Наоборот, для вычисления верхней и нижней границы требуется только максимизировать некоторые выражения для единственной передаваемой буквы по каждому направлению. Хотя и это иногда требует значительных вычислений, все же для не очень сложных каналов вычисления могут быть доведены до конца.