6.7. Краткое содержание и выводы

Эта глава имела целью ввести фундаментальные понятия блокового кодирования и декодирования и на простом примере проиллюстрировать характер зависимости вероятности ошибки от скорости передачи информации и числа одновременно кодируемых двоичных символов в блоке.

Мы начали с определения операции кодирования как отображения точек пространства сообщений на выбранные соответствующим образом точки пространства сигналов на входе канала, а операции декодирования как разбиение пространства сигналов на выходе канала на подмножеств. Каждое из этих подмножеств соответствует некоторому сообщению в том смысле, что все принадлежащие к нему выходные сигналы должны быть декодированы в соответствующее сообщение. В этой связи было отмечено, что вероятность появления ошибки при декодировании будет минимальной, если к каждому подмножеству отнесены те выходные сигналы, для которых соответствующее сообщение апостериори наиболее вероятно. Хотя такой критерий декодирования является одним из наиболее употребительных, приведенное определение операции декодирования не ограничивается каким-либо частным критерием. Например, в случае

декодирования по методу максимума правдоподобия каждое подмножество выходного пространства содержит все те выходные сигналы, для которых условная вероятность, соответствующая данному сообщению, будет больше, чем для любого другого сообщения.

Далее мы рассмотрели соотношение между вероятностью ошибки декодирования и ненадежностью сообщений, т. е. условной энтропией ансамбля сообщений при заданном подмножестве сигналов на выходе канала. Сначала мы показали, что эта условная энтропия не меньше условной энтропии ансамбля сообщений при заданном выходном сигнале. Затем мы смогли вывести неравенство, устанавливающее, что ненадежность сообщений не может превзойти среднее количество информации, требуемое для исправления ошибок, вносимых декодером. И наконец, с помощью этого неравенства было показано, что существует конечная нижняя граница вероятности ошибки, когда скорость передачи информации превышает пропускную способность канала. Это последнее утверждение известно как обращение теоремы кодирования для каналов со случайными искажениями.

В остальной части главы рассмотрена передача сообщений по каналам с непрерывным временем и с аддитивным стационарным белым гауссовским шумом. Обсуждение этой проблемы мы начали с замечания, что, хотя представление процесса декодирования как разбиения пространства выходных сигналов на, подмножества удобно для целей анализа, оно не содержит описания тех операций, которые должен практически выполнять декодер. Поскольку хранение в памяти разбиения пространства выходных сигналов представляется невозможным, декодер должен по имеющемуся на выходе сигналу вычислить взаимную информацию между ним и каждым из возможных сообщений на входе. Все представляющие практический интерес критерии декодирования можно реализовать, выбирая сообщение, которое максимизирует сумму взаимной информации и некоторой функции от сообщения. В частности, когда сообщения равновероятны, выбор сообщения с наибольшей взаимной информацией минимизирует вероятность ошибки.

Далее, мы показали, что для рассматриваемого канала взаимную информацию между выходным сигналом и любым из возможных сообщений можно выразить в виде суммы некоторой величины, независящей от выходного сигнала, и средней взаимной мощности (взаимной корреляции) этого выходного сигнала и сигнала, представляющего сообщение. Таким образом, операция декодирования состоит в первую очередь в вычислении средних взаимных мощностей между входным

сигналом и сигналами, соответствующими сообщениям. В частном случае равновероятных сообщений и сигналов с одинаковой средней мощностью вероятность ошибки будет минимальной, когда выходной сигнал декодируется в сообщение с наибольшей средней взаимной мощностью. В этой связи мы указали, что операции кодирования и декодирования удобно реализовать парами согласованных фильтров.

Наконец, мы вычислили верхнюю границу вероятности ошибки в частном случае равновероятных, ортонормальных сигналов с одинаковой средней мощностью. Оказалось, что для любой фиксированной скорости передачи, меньшей чем пропускная способность канала, эта верхняя граница экспоненциально стремится к нулю при возрастании длины сообщения.

В связи с этим мы подчеркнули, что такое поведение вероятности ошибки типично для обширного класса каналов со случайными искажениями. В следующих главах мы получим аналогичные верхние границы вероятности ошибки для дискретных постоянных каналов.

В целях математической простоты в большей части этой главы мы ограничили наши рассмотрения каналами с непрерывным временем, в которых действует аддитивный стационарный белый гауссовский шум. Однако полученные результаты можно обобщить (с соответствующими модификациями) на случай небелого шума; некоторые из результатов можно обобщить на каналы с рассеянием и со случайной импульсной характеристикой. Некоторые из подобных исследований, касающихся декодирования сигналов, которые были здесь опущены, содержатся в работах [2] и [3].

В последнем разделе мы подчеркнули, что на практике мы часто бываем вынуждены квантовать пространства входных и выходных сигналов каналов с непрерывным временем ради упрощения реализации кодера и декодера. Именно по этой причине дискретные каналы имеют такое большое практическое значение, хотя большинство физических каналов непрерывны во времени. Необходимо, однако, помнить, что пропускная способность любой дискретной модели канала с непрерывным временем, вообще говоря, будет меньше пропускной способности исходного канала. Следовательно, построение дискретной модели канала с непрерывным временем должно рассматриваться как этап построения кодера и декодера.

Три следующие главы посвящены кодированию и декодированию сообщений для передачи по дискретным постоянным каналам. Мы исследуем сначала двоичные симметричные каналы из-за их меньшей математической сложности. Общий случай

дискретных постоянных каналов, рассматриваемый в гл. 9, потребует специального математического аппарата, который будет развит в гл. 8.

6.8. Избранная литература

(см. скан)