9.9. Краткое содержание и выводы

В этой, заключительной главе мы рассмотрели кодирование и декодирование сообщений, передаваемых по дискретным постоянным каналам. Мы начали с вычисления нижней границы вероятности ошибки для случая, когда входные последовательности, приписанные сообщениям, имеют одинаковую композицию. Эта нижняя граница была найдена, и она имеет вид

для любой скорости передачи

где медленно меняющаяся функция от не зависят от Следовательно, в той области, где эти две величины положительны, граница может быть выражена асимптотически через соотношение между Затем композиция была оптимизирована с целью получения наименьшей нижней границы вероятности ошибки для любой заданной скорости передачи. Мы установили, что оптимальной является та композиция, для которой производящая функция моментов случайной величины остается одной и той же для всех входных букв Это условие привело к системе уравнений с К неизвестными, описывающими композицию входной последовательности, и с неизвестными описывающими перекошенное распределение вероятностей на выходе. Эти уравнения аналогичны полученным в гл. 5 при вычислении пропускной способности канала и даже становятся тождественными с ними, когда скорость передачи совпадает с пропускной способностью канала. Кривая, выделенная как «нижняя граница» на рис. 9.2, иллюстрирует типичное оптимальное соотношение между Концевая точка С есть пропускная способность канала, и соответствующая ей оптимальная композиция совпадает с распределением вероятностей на входе, для которого средняя взаимная информация между входными и выходными буквами равна С.

Для кривой нижней границы (рис. 9.6) коэффициент в показателе стремится к бесконечности, когда стремится к нулю. Существуют, однако, каналы, для которых а становится бесконечным при положительных значениях Такие каналы характеризуются тем, что на выходе нет букв, в которые каждая из входных букв переходит с ненулевой вероятностью. Значение для которого оптимальное а становится бесконечным,

совпадает с верхней границей пропускной способности при нулевой ошибке, полученной Шенноном.

Далее, мы вычислили верхнюю границу средней вероятности ошибки, когда входные последовательности, приписываемые сообщениям, выбираются независимо и с равными вероятностями из последовательностей с определенной композицией.

Рис. 9.6. Оптимальная асимптотика верхней и нижней границ вероятности ошибки.

Эта верхняя граница имеет вид

где А — медленно меняющаяся функция от — независящая от функция скорости передачи Для большего критического значения зависящего от свойств канала и от композиции входной последовательности, соотношение между совпадает с соотношением между для нижней границы. Следовательно, для скоростей передачи, больших верхняя и нижняя границы имеют одинаковую асимптотику. Для скоростей передачи меньших где критическое значение, соответствующее Поэтому для верхняя и нижняя границы экспоненциально расходятся. Оптимальное соотношение между показано на рис. 9.6 кривой, выделенной надписью «верхняя граница». Наклон ее прямолинейного участка равен —1.

Последний вопрос, разобранный в этой главе, касался влияния перехода от требования строгой фиксированности композиции входных последовательностей к более слабому ограничению на среднюю вероятность ошибки, т. е. независимому выбору последовательных букв в соответствии с заданным распределением вероятностей. Было показано, что для этого типа

случайного кодирования верхняя граница средней вероятности ошибки имеет вид выражения (9.278). Но значение при одной и той же скорости передачи, вообще говоря, меньше, чем при кодировании с фиксированной композицией, совпадающей с выбранным распределением вероятностей. Однако оптимальное значение для любого заданного оказывается в обоих случаях одинаковым. В частном случае симметричных каналов оптимальная композиция входной последовательности равномерна (т. е. все буквы появляются с одинаковой частотой) для всех скоростей передачи и является оптимальным распределением вероятностей, используемым при случайном конструировании входных последовательностей.

Из полученных в этой главе границ вероятности ошибки вытекает, что по дискретному постоянному каналу возможна передача с любой скоростью, меньшей пропускной способности канала, при сколько угодной малой вероятности ошибки. Хотя общий метод построения кодов с такими свойствами и неизвестен, случайное отображение сообщений во входные последовательности, применяемое при выводе верхних границ, может быть с успехом использовано на практике. Иначе говоря, построение удовлетворительных кодов практически не составляет серьезной проблемы. В то же время реализация операций кодирования и декодирования является главным препятствием в разработке надежных и эффективных систем связи.

Класс рассмотренных в этой главе каналов содержит приемлемые модели и для многих физических каналов связи. Однако для представления физических каналов с рассеиванием и каналов с шумами, имеющими заметную зависимость от прошлого, нужны модели каналов с памятью. Хотя столь полных результатов, как результаты этой главы, нет для каналов с памятью и получить их было бы очень трудно, много можно сделать на практике исходя из разумной эвристической экстраполяции результатов, выведенных для постоянных каналов. Такая экстраполяция часто является главным мостом между теорией и инженерной практикой.

В заключение этой последней главы автору хотелось бы выразить свою личную уверенность в том, что техника связи находится сейчас на пороге большой технической революции. Многое еще остается сделать, прежде чем способы передачи, о которых доказана их принципиальная возможность, станут широко распространенной практической реальностью, но дорога в этом направлении кажется уже расчищенной от главных препятствий. Основным требованием быстрого прогресса является творческая экспериментальная работа, базирующаяся на глубоком понимании уже заложенных теоретических основ.

9.10. Избранная литература

(см. скан)

ПРИЛОЖЕНИЕ А

ЗАДАЧИ

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

(см. скан)

ПРИЛОЖЕНИЕ Б. Таблица энтропии

(см. скан)

ПРИЛОЖЕНИЕ В. Гауссовская функция распределения

(см. скан)

(см. скан)