14. Достижимость внешней границы при зависимых источниках

В связи с рассмотрением внешней границы отметим интересную интерпретацию, относящуюся к несколько более общим системам связи. Предположим, что источники сообщений на обоих концах нашего канала являются не независимыми, а статистически зависимыми. Такой может быть информация о погоде, подлежащая передаче из Бостона в Нью-Йорк и из Нью-Йорка в Бостон. Погода в этих городах, конечно, статистически зависима. Если бы имела место зависимость, приспособленная к каналу или если бы было можно преобразовать сообщение, с тем, чтобы было выполнено вышесказанное, то при передаче можно достигнуть скорости, лежащей на внешней границе. Пусть, например, для только что рассмотренного умножающего канала сообщения на обоих концах состоят из потока двоичных знаков, встречающихся с зависимыми вероятностями, приведенными в табл. III. Последовательные пары предполагаются независимыми.

Таблица III

Тогда при простой передаче этих потоков по каналу (без всякой обработки) кривая внешней границы достигается в ее средней точке.

Неизвестно, возможно ли это в общем случае. Всегда ли существует последовательность пар зависимых источников, которые могут быть закодированы так, чтобы получить скорости отличающиеся меньше чем на от любой точки внешней границы? Во всяком случае, это утверждение часто бывает справедливым в случае канала без памяти и без шума, т. е. когда и являются

точными функциями от Пара источников, определяемых распределением при котором получается интересующая нас точка, часто оказывается так же, как в приведенном выше примере, пригодной и без дополнительного кодирования.

Внутренняя граница также имеет интересную интерпретацию. Если искусственно ограничить класс кодов только такими, при которых передаваемые последовательности на каждом конце канала зависят только от передаваемого сообщения и не зависят от полученной на этом конце последовательности, то внутренняя граница действительно будет областью пропускной способности. Это вытекает из того, что в таком случае на каждом этапе передачи (т. е. при заданном индексе передаваемой буквы) между двумя следующими передаваемыми буквами нет зависимости. Отсюда следует, что общее векторное изменение неопределенности ограничено суммой векторов, каждый из которых соответствует независимому распределению вероятностей. Детали этого доказательства предоставляются читателю. Требование независимости сохраняется также в том случае, если передающие и принимающие пункты на каждом конце канала находятся в разных местах и прямой связи не имеют.