Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике § 3.2. Постановка задачи кодирования в дискретном каналеКак отмечалось в предыдущем параграфе, назначение кодера и декодера канала состоит в том, чтобы уменьшить влияние шумов в канале и обеспечить надежную связь между источником и получателем сообщений. В следующем примере рассматривается один из методов повышения надежности связи. Пример 3.2.1. Пусть множества входных и выходных сигналов дискретного канала без памяти состоят из двух элементов Заданием величины
где Предположим, что Рассмотрим другой метод кодирования (передачу с помощью повторений): если надо передать Очевидно, что ошибка декодирования возникает всякий раз, когда при передаче последовательности длины
Так как математическое ожидание числа ошибок в последовательности длины Таким образом, мы видим, что вероятность неправильной передачи сообщений по каналу может быть сделана сколь угодно малой, если это сообщение передается посредством достаточно большого числа повторений одного и того же входного сигнала. Время передачи при таком методе кодирования пропорционально числу повторений. Поэтому, чтобы вероятность неправильного приема была достаточно малой, необходимо иметь достаточно большое время передачи. При этом скорость передачи, т. е. количество информации, передаваемое в единицу времени, будет стремиться к нулю, так как за все время передачи будет передано одно из двух сообщений или не более 1 бита информации. В этой главе мы хотим показать, что произвольно малая вероятность ошибки может быть также достигнута и при скоростях передачи, отличных от нуля, за счет усложнения методов кодирования и соответственно декодирования. Ниже будет описана общая ситуация, имеющая место при передаче сообщений по дискретному каналу связи. Определение 3.2.1. Кодом с длиной последовательностями канала, причем при множества и Если задан код, то тем самым задано как множество кодовых слов, так и правило, по которому приемник принимает решение о переданном кодовом слове: если на выходе канала появляется последовательность Определение 3.2.2. Скоростью кода (или скоростью передачи) называется величина
где Из этого определения следует, что скорость кода представляет собой максимальное количество информации, которое может быть передано с помощью одного сигнала (или символа), так как Очевидно, что число кодовых слов не может превышать общего числа последовательностей длины Следует отметить разницу в определениях скорости кода канала и скорости кода источника. В случае кода источника скорость определяется как отношение логарифма числа кодовых слов к длине отрезков кодируемых сообщений. В случае кода канала скорость определяется как отношение того же числа к длине кодовых слов (к длине кодирующих последовательностей). Очевидно, что код длины Пример 3.2.2. Предположим, что двоичный источник без памяти имеет энтропию что больше, чем Если заданы некоторый канал и код, то мы можем определить вероятность ошибки декодирования данного кода при передаче по данному каналу. Пусть передается слово
где В качестве количественной меры надежности передачи с помощью кода
Вторая — средняя вероятность ошибки
где Так как распределение вероятностей
Выражение (3.2.6) совпадает с (3.2.5) в случае оптимального кодирования источника, когда Определение 3.2.3. Пропускной способностью канала с дискретным временем называется максимальное число С такое, что для любого сколь угодно малого
С — это верхняя грань скоростей кодов, для которых выполняется (3.2.7), поэтому передача с произвольно малой вероятностью ошибки при скоростях В последующей части этой главы мы будем заниматься вычислением пропускной способности различных дискретных каналов. Для того чтобы доказать, что некоторое число С является пропускной способностью канала, необходимо доказать два утверждения: 1) при любом 2) для всякого Пропускная способность канала была определена относительно максимальной вероятности ошибки. Очевидно, что, если для некоторого кода максимальная вероятность ошибки не превосходит 6, то и средняя вероятность ошибки для этого кода также не превосходит 6. Следующая лемма устанавливает, что в определенном смысле верно и обратное утверждение. Поэтому пропускную способность можно определять как максимальную скорость, при которой средняя вероятность ошибки не превосходит 6, Лемма 3.2.1. Пусть существует код объема Доказательство. Предположим, что в коде объема
В силу упорядоченности вероятностей ошибок из (3.2.8) вытекает, что
для всех Из леммы 3.2.1 следует, что, если при любом
где Действительно, скорость кода, построенного в доказательстве леммы 3.2.1, равна
|
1 |
Оглавление
|