Пред.
След.
Макеты страниц
Распознанный текст, спецсимволы и формулы могут содержать ошибки, поэтому с корректным вариантом рекомендуем ознакомиться на отсканированных изображениях учебника выше Также, советуем воспользоваться поиском по сайту, мы уверены, что вы сможете найти больше информации по нужной Вам тематике § 4.1. Непрерывные каналы с дискретным временем. Обратная теорема кодированияПусть множества Непрерывный канал с дискретным временем называется каналом без памяти, если для всех
Если, кроме того, ф. п. в., задающие передачу в моменты времени
то говорят, что канал с дискретным временем удовлетворяет условию стационарности. В дальнейшем мы всегда будем предполагать, если противное не оговорено особо, что условие стационарности всегда выполняется. Как нетрудно догадаться, мы будем следовать схеме изложения предыдущей главы, где основная роль принадлежит средней взаимной информации между входом и выходом канала. В случае дискретного канала максимум средней взаимной информации на сообщение по всем распределениям вероятностей на входе давал пропускную способность канала, т. е. наибольшую скорость передачи, при которой вероятность ошибки могла быть сделана сколь угодно малой. В случае непрерывного канала это не так. Средняя взаимная информация может быть сделана какой угодно большой соответствующим выбором распределения вероятностей на входе. В этом основное отличие дискретных и непрерывных каналов. Следующий пример поясняет суть этого явления; он также подсказывает правильную постановку задачи кодирования. Пример 4.1.1. Пусть В этом случае
где Средняя взаимная информация
Из свойств относительной энтропии следует, что
где
и, следовательно,
Используя (4.1.4), (4.1.5) и (4.1.8), получим, что
Из этого выражения видно, что средняя взаимная информация между входными и выходными сигналами канала в некоторый момент времени может быть сделана сколь угодно большой за счет выбора достаточно большого отношения На практике входным сигналам нельзя придавать сколь угодно большую мощность, так как мощность передатчика ограничена. Поэтому входные сигналы непрерывных каналов, а, следовательно, и распределения вероятностей на входе канала должны подчиняться так называемым мощностным ограничениям. В принципе возможны и другие ограничения, связанные с условиями передачи, но мы в дальнейшем будем рассматривать только мощностные ограничения. Определение 4.1.1. Пусть их,
для каждого кодового слова
называется скоростью, а число Набор решающих областей задает правило декодирования: если выходная последовательность у канала принадлежит множеству
Как и в случае дискретных каналов, для каждого кода определены максимальная Определение 4.1.2. Пропускной способностью непрерывного канала с дискретным временем при ограничении Введем теперь понятие информационной емкости непрерывного канала с дискретным временем при ограничении на среднюю мощность входных сигналов. Для этого рассмотрим всевозможные ф. п. в. на
где
и
Определение 4.1.3. Информационной емкостью непрерывного канала с дискретным временем при ограничении
где верхняя грань разыскивается по всем Понятие информационной емкости позволяет сформулировать и доказать обратную теорему кодирования. В основе доказательства обратной теоремы лежит неравенство Фано (см. § 3.3), которое справедливо для произвольного канала. Заметим, что в случае непрерывных каналов с дискретным временем условные вероятности
Теорема 4.1.1 (обратная теорема кодирования для непрерывных каналов с дискретным временем при ограничении на среднюю мощность сигналов на входе). Пусть С — информационная емкость указанного выше канала при ограничении Доказательство. Зафиксируем
где
где
т. e. для ф. п. в. (4.1.18) неравенство (4.1.13) выполняется. Из определения информационной емкости (4.1.16) следует, что для ф. п. в. (4.1.18) выполняется следующая цепочка неравенств:
где
|
1 |
Оглавление
|