§ 4.1. Непрерывные каналы с дискретным временем. Обратная теорема кодирования

Пусть множества сигналов на входе и выходе соответственно непрерывного канала с дискретным временем — числовые оси. Передача одного сигнала (однократная передача) в некоторой фиксированный момент времени задается с помощью условной (или переходной) функции плотности вероятностей Передача последовательностей задается с помощью условных (или переходных) многомерных ф. п. в. в точности так же, как задается передача последовательностей по дискретному каналу. Мы будем считать, что передача сообщений начинается в момент времени поэтому непрерывный канал с дискретным временем считается заданным, если для любого и любых последовательностей заданы -мерные ф. п. в. , описывающие передачу последовательностей длины в таком канале.

Непрерывный канал с дискретным временем называется каналом без памяти, если для всех

Если, кроме того, ф. п. в., задающие передачу в моменты времени одинаковы для всех т. е. если

то говорят, что канал с дискретным временем удовлетворяет условию стационарности. В дальнейшем мы всегда будем предполагать, если противное не оговорено особо, что условие стационарности всегда выполняется.

Как нетрудно догадаться, мы будем следовать схеме изложения предыдущей главы, где основная роль принадлежит средней взаимной информации между входом и выходом канала. В случае дискретного канала максимум средней взаимной информации на сообщение по всем распределениям вероятностей на входе давал пропускную способность канала, т. е. наибольшую скорость передачи, при которой вероятность ошибки могла быть сделана сколь угодно малой. В случае непрерывного канала это не так. Средняя взаимная информация может быть сделана какой угодно большой соответствующим выбором распределения вероятностей на входе. В этом основное отличие дискретных и непрерывных каналов. Следующий пример поясняет суть этого явления; он также подсказывает правильную постановку задачи кодирования.

Пример 4.1.1. Пусть гауссовские случайные величины (с. в.), связанные следующим соотношением: причем статистически независимы. Можно ргссматривать X как входной и как выходной сигналы канала в некоторый момент времени. Величина называется шумом, а соответствующий канал — канал с аддитивным гауссовским шумом. Мы рассматриваем случай, когда распределение на входе канала является гауссовским.

В этом случае

где дисперсии (мощности) сигнала на входе канала и шума. Очевидно, что

Средняя взаимная информация может быть представлена как разность относительных энтропий

Из свойств относительной энтропии следует, что

где

и, следовательно,

Используя (4.1.4), (4.1.5) и (4.1.8), получим, что

Из этого выражения видно, что средняя взаимная информация между входными и выходными сигналами канала в некоторый момент времени может быть сделана сколь угодно большой за счет выбора достаточно большого отношения Если канал задан, то задана и мощность шума поэтому, выбирая мощность входных сигналов 0 достаточно большой, можно получить сколь угодно большое значение

На практике входным сигналам нельзя придавать сколь угодно большую мощность, так как мощность передатчика ограничена. Поэтому входные сигналы непрерывных каналов, а, следовательно, и распределения вероятностей на входе канала должны подчиняться так называемым мощностным ограничениям. В принципе возможны и другие ограничения, связанные с условиями передачи, но мы в дальнейшем будем рассматривать только мощностные ограничения.

Определение 4.1.1. Пусть их, последовательности длины (кодовые слова), образованные входными сигналами капала непересекающиеся подмножества (решающие области), образованные выходными сигналами канала, Кодом для непрерывного канала с дискретным временем, удовлетворяющим ограничению на среднюю мощность, будем называть множество пар такое, что

для каждого кодового слова Число

называется скоростью, а число — длиной кода. Так же как в дискретном случае, код для непрерывного канала будет обозначаться символом

Набор решающих областей задает правило декодирования: если выходная последовательность у канала принадлежит множеству то принимается решение о том, что передавалось кодовое слово Если при передаче - последовательность у не принадлежит то происходит ошибка. Вероятность этого события определяется соотношением

Как и в случае дискретных каналов, для каждого кода определены максимальная и средняя вероятности ошибок.

Определение 4.1.2. Пропускной способностью непрерывного канала с дискретным временем при ограничении на среднюю мощность входных сигналов называется максимальное число С такое, что для любого сколь угодно малого положительного 6 и любого существует код все слова которого удовлетворяют ограничению (4.1.10) и максимальная вероятность ошибки которого удовлетворяет неравенству

Введем теперь понятие информационной емкости непрерывного канала с дискретным временем при ограничении на среднюю мощность входных сигналов. Для этого рассмотрим всевозможные

ф. п. в. на Обозначим через множество всех ф. п. в. на таких, что

где

и

Определение 4.1.3. Информационной емкостью непрерывного канала с дискретным временем при ограничении на среднюю мощность входных сигналов называется число С, определяемое следующим соотношением:

где верхняя грань разыскивается по всем и по всем а -средняя взаимная информация, вычисленная для данного канала и для

Понятие информационной емкости позволяет сформулировать и доказать обратную теорему кодирования. В основе доказательства обратной теоремы лежит неравенство Фано (см. § 3.3), которое справедливо для произвольного канала. Заметим, что в случае непрерывных каналов с дискретным временем условные вероятности принятия решения при условии, что передано кодовое слово вычисляются следующим образом:

Теорема 4.1.1 (обратная теорема кодирования для непрерывных каналов с дискретным временем при ограничении на среднюю мощность сигналов на входе). Пусть С — информационная емкость указанного выше канала при ограничении на среднюю мощность сигналов на входе. Пусть произвольное положительное число и Тогда найдется такое положительное число зависящее от что для всякого кода удовлетворяющего ограничению на среднюю мощность, средняя вероятность ошибки .

Доказательство. Зафиксируем и рассмотрим некоторый код при все слова которого удовлетворяют условию (4.1.10). Обозначим через слова этого кода и положим

где дельта-функция Дирака Функция является обобщенной ф. п. в. дискретного распределения на приписывающего одинаковые вероятности всем кодовым словам и нулевые вероятности всем остальным последовательностям из Легко проверить, что функция принадлежит Для того чтобы в этом убедиться, заметим, что неравенство (4.1.10) можно записать в следующей векторной форме:

где символ транспонирования вектора Рассмотрим левую часть неравенства (4.1.13). Очевидно,

т. e. для ф. п. в. (4.1.18) неравенство (4.1.13) выполняется.

Из определения информационной емкости (4.1.16) следует, что для ф. п. в. (4.1.18) выполняется следующая цепочка неравенств:

где ансамбль кодовых слов с равномерным распределением вероятностей, ансамбль решений, и последнее неравенство есть следствие невозрастания средней взаимной информации при преобразованиях. Доказательство теоремы завершается применением неравенства Фано и рассуждений, приведенных при доказательстве обратной теоремы кодирования для дискретных каналов. Теорема доказана.