7. Согласование кода с каналом

Мы намереваемся обсудить более подробно физический смысл важной теоремы Шеннона и уточнить свойства систем кодирования, позволяющих полностью использовать пропускную способность канала. Будет показано, что наилучшим является такое кодирование, которое дает наиболее вероятное распределение символов), и будут даны правила для нахождения таких оптимальных кодирующих систем.

Повторим некоторые результаты предыдущих глав. Мы предполагали, что в нашей системе связи применяется алфавит из n различных символов, и мы подсчитали общее число сообщений, т. е. различных комбинаций этих символов, когда числа различных символоз, т. е. число повторений данного символа, были наперед заданы. Пусть

есть общее число символов в сообщении и пусть

представляет относительную частоту символа. Полное число различных сообщений рассматриваемого типа равно (см. (1.26))

Применяя формулу Стирлинга, получаем приближенно:

(4.46)

Эта формула была использована для определения количества информации, получаемого при выборе одного сообщения из Р возможных (см. (1.28)), и для информации i на символ мы получили:

А. Символы одинаковой длины

Рассмотрим сначала простой пример, предположив, что все символы имеют одинаковую длину . Длинный интервал Т содержит

позиций (или ячеек) для различных символов. Для каждой ячейки мы располагаем n различными символами, так что полное число возможных сообщений равно

Из определения (4,3) получаем для пропускной способности канала

(4.48а)

При рассмотрении пропускной способности не делается никаких предположений относительно априорных частот n различных символов. Когда мы определяли информацию, априорные частоты различных символов предполагались известными, и мы получили для информации на символ выражение (4.47). Эта величина имеет максимум, когда все равны:

и максимальное значение равно

так как сумма имеет n одинаковых членов. Это есть информация на символ, когда все символы равновероятны. Каждый символ имеет длительность и скорость передачи информации есть

Это выражение совпадает с формулой (4.48а) для пропускной способности. Сходство (4.48а) и (4.49) обращает на себя внимание. При вычислении пропускной способности мы

использовали все возможные распределения символов. При выводе (4.49) мы исходили из произвольной априорной совокупности частот, которые позднее подобрали (положив так, чтобы максимизировать информацию, и получили одинаковые результаты.

На основании (4.48а) и (4.49) скорость передачи равна

и мы не можем, разумеется, передавать больше, чем символов (длительностью ) в секунду. Итак, в нашей упрощенной задаче наилучшим является такое кодирование, при котором все символы встречаются одинаково часто, в соответствии с теоремой Шеннона.

Отметим, что условие максимума информации приводит к наиболее вероятному распределению. Действительно, есть полное число возможных сообщений, а Р, выражаемое равенством

есть число возможных сообщений с распределением символов, определяемых вероятностями . Делая Р максимальным (или, что то же, делая максимальным i), делаем максимальной информацию. Но считается постоянным) есть вероятность того, что имеет место распределение Р (определяемое совокупностью ), а если Р имеет максимум, то мы имеем наиболее вероятное распределение.

Для рассматриваемого в этом разделе упрощенного случая (все символы имеют одинаковую длину) мы приходим к заключению, что максимум информации получается при наиболее вероятном распределении. Можно также заметить, что это распределение является асимптотическим; это основывается на выводе равенства (4.48), при котором мы не учитывали априорного распределения. Это асимптотическое распределение можно себе представить как среднее распределение в том смысле, что при усреднении за большое время только асимптотическое распределение имеет смысл. Мы увидим в следующем разделе, что эти замечания приложимы и в случае, когда символы имеют неодинаковую длительность.