5.2. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ДИСКРЕТНЫХ КАНАЛОВ

Информационные характеристики дискретных каналов определены в § 1.4. Кроме того, применяют еще одну характеристику — коэффициент использования канала

Так как то Коэффициент использования канала показывает, в какой степени скорость передачи информации приближается к пропускной способности канала.

Рассмотрим информационные характеристики дискретных каналов без ошибок и с ошибками, определим избыточность кодов и длину кодовых комбинаций в дискретных каналах с ошибками, а также пропускную способность двоичного и -ичного каналов с ошибками.

5.2.1. Идеальные дискретные каналы. Идеальным называют канал, ошибки в котором отсутствуют. Для передачи сообщений по каналу символы кодируют и преобразуют в электрические кодовые сигналы. Эту операцию выполняет кодер (см. рис. 1.1). В идеальном канале между элементами кодовых сигналов на входе и элементами сигналов на выходе существует однозначное соответствие. Скорость передачи информации равна производительности кодера

где скорость передачи кодовых сигналов — энтропия кодера длительность элементарного кодового сигнала.

В соответствии с формулой (1.14) пропускная способность идеального канала

где основание кода. Пропускная способность является предельной характеристикой канала. Покажем это. Если основание кода равно . Для передачи одного элементарного кодового сигнала необходимо время то для передачи кодовой комбинации

длиной элементарных сигналов потребуется время Общее число кодовых комбинаций длительностью как обычно, равно Следовательно, максимальное количество информации в одной кодовой комбинации Пропускная способность

Таким образом, пропускную способность идеального дискретного канала полностью определяют скорость передачи сигналов и основание кода.

К. Шеннон доказал следующую теорему: если ошибки в дискретном канале отсутствуют, можно закодировать сообщение на выходе источника так, чтобы передавать информацию со средней скоростью сколь угодно близкой к С. Передавать информацию невозможно.

Эта теорема служит теоретической основой для построения оптимальных эффективных кодов (см. § 5.3). Если в процессе кодирования на выходе кодера обеспечить появление равновероятных независимых кодовых сигналов, то каждый элементарный сигнал будет нести максимальное количество информации, производительность кодера будет максимальной и скорость передачи информации приблизится пропускной способности.

5.2.2. Реальные дискретные каналы. В реальных каналах всегда имеются ошибки и стирания символов (см. § 4.3) при передаче сообщений; вероятности появления ошибок во многом определяются искажениями сигналов и помехами в непрерывных каналах, на основе которых построены дискретные каналы, и рядом других причин. В реальныхканалах передаваемые сигналы (см. рис. 1.1 и § 4.4) искажаются и на демодулятор поступаю принятые сигналы которые в той или иной мере отличаются от передаваемых. На выходе решающей схемы может появиться кодовый сигнал который будет отличаться от переданного . В этом случае говорят, что произошла ошибка. Ошибки приводят к уменьшению пропускной способности каналов и потере информации.

Количество информации, которое содержит принятый символ относительно переданного или в более общем случае один символ относительно другого, находят с помощью формулы (5.2) для вероятности совместного появления символов. Когда символы появляются независимо, условные вероятности в (5.2) являются безусловными и вероятность совместного появления символов определяется как произведение вероятностей появления каждого символа. В этом единственном случае один символ не несет никакой информации о другом.

Поэтому количество информации, которое содержит принятый сигнал относительно переданного с учетом (5.2)

определяют по формуле

где -вероятность совместного появления -вероятности появления соответствующие условные вероятности. Если символы появляются независимо, то Во всех остальных случаях один символ несет информацию о другом и

Среднее количество принятой информации, которое приносит один символ, получим, усредняя (5.20) по всем

Учтя две формы записи дроби (5.20), получим две формы записи для среднего количества информации в принятом символе

Выражения (5.22), (5.23) можно записать более наглядно

Смысл выражений (5.24), (5.25) следующий. Величина это энтропия кодера, а величина — это среднее количество информации, потерянное в канале из-за ошибок. Следовательно, соотношение (5.24) показывает, что среднее количество принятой в одном символе информации равно разности среднего количества переданной информации и среднего количества информации, потерянной в канале из-за ошибок. Соотношение (5.25) показывает, что среднее количество принятой в одном символе информации можно вычислить и как разность энтропий принятого сигнала и помехи. Соотношение (5.25) используют чаще, так как оно позволяет определить через энтропию помехи, которую определить проще.

В соответствии с (1.13) скорость передачи информации в реальных каналах Использовав (5.24) и (5.25), получим

Если ошибок нет, то и формула (5.26) переходит в формулу (5.18) для идеального канала.

Пропускная способность реальных дискретных каналов

где операция отыскания максимума выполняется по всем способам передачи и обработки сигналов.

Для реальных дискретных каналов К. Шеннон доказал следующую теорему: если производительность источника сообщений меньше пропускной способности канала, сообщение можно закодировать в сигналы так, чтобы передавать информацию по дискретному каналу с помехами со сколь угодно малой вероятностью ошибки. Эта теорема является теоретической основой корректирующего кодирования. В ней утверждается, что существует такой код, использование которого позволит обнаружить и исправить практически все ошибки. Задача заключается в отыскании и построении таких кодов.

5.2.3. Избыточность кодов и длина кодовых комбинаций в реальных каналах. Установим связь, которая должна существовать в реальных каналах для обеспечения сколь угодно высокой верности между средней длиной кодовой комбинации, избыточностью кода и количеством информации, теряемой из-за помех.

Чтобы кодер успевал преобразовать каждый символ сообщения в кодовую комбинацию, средней длиной по элементарных кодовых сигналов, скорость передачи сигналов кодером должна быть в по раз выше скорости передачи символов источником. Поэтому для безошибочного кодирования должно выполняться условие

Кроме этого условия, должно выполняться и условие отсутствия потерь информации при кодировании

Это условие о том, что среднее количество информации которое заключено в одном символе сообщения, должны переносить по символов кодовой комбинации. Учтем (5.29), тогда избыточность кода для реальных каналов

Условие теоремы Шеннона для реальных каналов с учетом можно представить в виде

или иначе

Учтя (5.28) и разрешив неравенство (5.31) относительно По, получим

Из неравенства (5.32) следует практически важный вывод: с ростом среднего количества информации теряемой в канале из-за помех, для обеспечения сколь угодно высокой верности передачи информации должна расти средняя длина кодовой комбинации.

Аналогичный вывод справедлив и относительно избыточности кода (5.30). Если растет, дробь в правой части (5.30) уменьшается, а значение увеличивается. Можно установить и непосредственную связь между Так как то неравенство (5.31) можно представить в виде

Разделив обе части неравенства (5.33) на получим

Учтя (5.28) и поменяв местами дроби в неравенстве, получим

Левая часть неравенства - коэффициент избыточности кода (5.30). Следовательно, для обеспечения сколь угодно высокой верности передачи информации в реальных каналах должно выполняться неравенство

Таким образом, для обеспечения сколь угодно высокой верности передачи информации в реальных каналах с ростом потерь информации из-за помех должны расти средняя длина кодовой комбинации и избыточность кода.

5.2.4. Пропускная способность двоичного и точного реальных каналов. Определим с помощью соотношения (5.27) пропускную способность реального двоичного симметричного канала без памяти. Предположим, что известна вероятность появления ошибки в канале (см. п. 4.3.3).

Определим значение Как следует из (5.12), бит/сигн. Условная энтропия

- это энтропия помехи которая определяется по формуле (5.16):

Подставив значения условных вероятностей появления ошибок, получим

Так как по условию нормировки (4.25) первая сумма равна единице, то

Пропускная способность двоичного реального канала

Анализ зависимости показывает, что в диапазоне реальных изменений функция является монотонно убывающей. При это означает, что из-за высокого уровня помех в канале кодовые сигналы на входе и на выходе канала становятся независимыми (принимаемые сигналы не несут информации о передаваемых).

Пропускную способность -ичного реального канала определяют аналогично

Из (5.39) как частный случай следует (5.38) при Если то пропускная способность реального канала стремится к пропускной способности идеального канала (5.19).

Средняя длина кодовых комбинаций в двоичном и -ичнои реальных каналах определяется неравенством (5.32):

Следовательно, минимальная средняя длина кодовых комбинаций в реальных каналах определяется энтропией источника, основанием кода и вероятностью появления ошибки в канале при передаче одного кодового сигнала.

Избыточность двоичного кода (см. (5.35))

избыточность многопозиционного кода

Контрольные вопросы

(см. скан)