VI. Дополнительные замечания

А. Несимметричный канал

Выражение (26) определяет величину для произвольного несимметричного канала. В приложении III выведена формула для определения величины

Если Действительно равен нижней грани функции по переменному X, то

Мы предполагаем, что равенство (53) справедливо, но его доказательство связано с большими аналитическими трудностями. В обоснование этого предположения можно привести следующие доводы.

1. Для каналов, симметричных по выходу и с равномерным распределением на входе, величины совпадают.

2. Мы показали, что для справедливо неравенство

3. Дж. Зиф (Массачусетский технологический институт) показал, что нижняя оценка для величины для блоковых кодов при малой скорости передачи близка Отсюда следует, что если наше предположение верно, то зависимость экспоненты от скорости передачи в случае несимметричного канала будет подобна той, какая изображена на рис. 3 для симметричного канала.

4. Величина не зависит от выбора распределения и поэтому определяется только переходными вероятностями канала и распределением на входе. Следует ожидать, что это свойство верно для любых фундаментальных величин, подобных

Помимо проблемы вопроса о справедливости указанного выше предположения, существует еще проблема выбора распределения Согласно исследованиям Фано и упомянутому результату Зифа, нижняя оценка для для скоростей передачи не зависит от выбора этого распределения. Из результатов Фано также следует, что при соответствующим выбором распределения можно добиться совпадения верхней и нижней границ для Следовательно, при использовании алгоритма последовательного декодирования для скоростей передачи выше естественно выбирать то распределение при котором достигается наибольшее значение экспоненты вероятности ошибки.

Б. Проблема ошибки при последовательном декодировании

В своих рассуждениях о числе операций и вероятности ошибки при декодировании мы исходили из предположения, что на предыдущих этапах декодирования не было совершено ни одной ошибки. Если же в прошлом было принято неправильное решение, например определено неверно, то декодирование символа не только потребует чрезвычайно большого числа операций, но и заведомо приведет к неправильному результату. Это обусловлено особенностью процедуры кодирования и декодирования, в силу которой ложное значение используется при построении символов Это значит, что при случайном выборе кода вероятность пары образованной любой проверяемой последовательностью и принятой последовательностью равна при Таким образом, передача становится практически невозможной после того, как на приемном конце была допущена ошибка при декодировании. Однако положение можно исправить путем незначительного усложнения процедуры передачи.

Предположим, что в последовательности X, которая получается из информационной последовательности 2

посредством преобразования группы по I символов отделяются друг от друга нулями. Получается новая последовательность X, при передаче которой кодирующее устройство периодически после каждой группы из I информационных символов заполняется нулями, т. е. переходит в такое состояние, которое достоверно известно на приемном конце. Другими словами, указанная структура последовательности X позволяет кодирующему и декодирующему устройствам периодически "забывать" о всей информации, произведенной в прошлом источником сообщений 2.

Возникает вопрос, какова вероятность того, что хотя бы один из I информационных символов в отрезке последовательности X длиной будет декодирован неправильно. Обозначим эту вероятность Тогда, очевидно,

где удовлетворяет оценкам, указанным в разд.

Из неравенств (48) и (54) следует, что, осуществляя передачу по симметричному каналу информационных данных, объединенных в блоки длины I, и производя последовательное декодирование, можно восстановить все символов с вероятностью ошибки, не превосходящей величины, пропорциональной Здесь означает запаздывание при декодировании. Правда, путем оптимального блокового кодирования можно было бы добиться вероятности ошибки, пропорциональной величине для где скорость передачи несколько меньше что вызвано увеличением из. быточности в последовательности X по сравнению с

Описанное усложнение процедуры передачи уменьшает величину до величины но вероятность ошибки сохраняет экспоненциальный характер убывания с ростом Если то понижение надежности передачи незначительно.

В. Распространение результатов на каналы с непрерывным выходом

Описанные результаты относятся к каналам с дискретным множеством элементов на выходе. Методы исследования легко распространить на каналы с непрерывным выходом. Если через у обозначить непрерывную величину на выходе канала, то вместо переходной вероятности следует использовать плотность условного распределения, т. е. функцию от аргумента у, определенную для каждого фиксированного значения Плотность вероятности на выходе определяется формулой

Случайная величина имеет вид

где положительная, но в остальных отношениях произвольная плотность распределения. Отсюда следует, что непрерывная случайная величина. При случайная величина обращается во взаимную информацию между входным и выходным символами канала.

Неравенства Чернова для непрерывных распределений получаются из соответствующих формул приложения II простым переходом от сумм к интегралам. Поэтому оценки для указанные выше, справедливы также и для каналов с непрерывным выходом.