§ 4.3. Каналы с непрерывным временем. Обратная теорема кодирования

До сих пор мы рассматривали лишь такие модели каналов, для которых предполагалось, что изменения значений входных и выходных сигналов происходят в дискретные моменты времени. Однако реально передаваемый и принимаемый в физическом канале сигналы могут представлять собой непрерывно меняющиеся во времени функции. Предположение о том, что время в канале дискретно, фактически означает, что реальные сигналы непрерывного канала подвергаются некоторой промежуточной обработке, дискретизации. Теперь мы хотим рассмотреть более общую модель канала связи, не делая предположений о наличии дискретизирующих устройств. Вероятностное описание таких непрерывных каналов, входные и выходные сигналы которых могут быть произвольными функциями времени, опирпется на понятие случайного процесса непрерывного времени (см. § 2.6).

Определение 4.3.1. Непрерывным каналом с непрерывным временем (или просто непрерывным каналом) называется канал, входные и выходные сигналы которого могут быть произвольными функциями времени. Если на входе канала фиксирована некоторая функция (некоторая реализация из множества входных сигналов канала), то выход канала является случайным процессом статистические характеристики которого зависят от фиксированной функции

Вообще говоря, множество возможных входных сигналов канала бесконечно — и несчетно. Поэтому задание непрерывного канала в общем случае требует задания несчетного множества случайных процессов В дальнейшем мы будем рассматривать, главным образом, так называемые каналы с аддитивным шумом, которые имеют существенно более простое описание.

Определение 4.3.2. Непрерывным каналом с аддитивным шумом называется такой непрерывный канал, процесс на

выходе которого при любой фиксированной функции на его входе определяется соотношением

где случайный процесс, не зависящий от Этот процесс называется шумовым процессом или просто шумом.

Таким образом, непрерывный канал с аддитивным шумом полностью определяется только одним случайным процессом, а именно шумом. При любой фиксированной функции принадлежащей множеству входных сигналов канала, выходной сигнал отличается от шумового процесса только математическим ожиданием. Очевидно, что случайный процесс имеет математическое ожидание, равное если шум имеет нулевое математическое ожидание. В дальнейшем всегда предполагается, что шум имеет нулевое математическое ожидание. В противном случае, если то можно полагать, что входным сигналом канала является функция и тем самым перейти к случаю, когда шум в канале имеет нулевое среднее.

Введем теперь понятие кода для непрерывного канала непрерывного времени.

Определение 4.3.3. Пусть — произвольные интегрируемые с квадратом функции, заданные на интервале (кодовые слова). Пусть множество всех сигналов на выходе канала, образованное функциями заданными на том же интервале и непересекающиеся подмножества множества (решающие области). Кодом для непрерывного канала будем называть множество пар Если для каждого кодового слова имеет место неравенство

то будем говорить, что код удовлетворяет ограничению на среднюю мощность кодовых слов. Число

называется скоростью, а число длиной кода. Код длины со скоростью будет обозначаться символом

Данное определение, по существу, не отличается от аналогичных определений в случае каналов дискретного времени. Как и раньше, кодовые слова представляют собой сигналы, с помощью которых передаются сообщения, а множества задают правило декодирования: если сигнал на выходе канала принадлежит множеству то принимается решение о том, что передавалось кодовое слово .

Для каждого кода определена вероятность ошибки при передаче слова

Кроме того, определены средняя К и максимальная вероятности ошибок. Эти вероятности определяются в точности так же, как и в случае дискретных и непрерывных каналов с дискретным временем.

Пропускная способность С непрерывного канала при ограничении на среднюю мощность сигналов на входе определяется аналогично пропускной способности непрерывных каналов с дискретным временем (см. определение 4.1.2).

Информационная емкость С непрерывных каналов при ограничении на среднюю мощность сигналов на входе, вообще говоря, определяется таким же образом, как и в случае каналов с дискретным временем. Мы приведем это определение, не вдаваясь в детали. Более подробное обсуждение будет дано в случае каналов с аддитивным белым гауссовским шумом с ограничением на полосу частот.

Определение 4.3.4. Пусть — случайный процесс, заданный на интервале . Пусть для случайного процесса на входе определена величина средней взаимной информации в единицу времени между случайными процессами на входе и на выходе канала, соответственно. Число

где верхняя грань разыскивается по всем и по всем случайным процессам обладающим ограниченной средней мощностью, т. е. таким, что

называется информационной емкостью непрерывного канала при ограничении на среднюю мощность входных сигналов.

Докажем теперь обратную теорему кодирования. Как и раньше, основным инструментом доказательства является неравенство Фано.

Теорема 4.3.1 (обратная теорема кодирования для непрерывных каналов при ограничении на среднюю мощность сигналов на входе). Пусть С — информационная емкость указанного выше канала при ограничении на среднюю мощность сигналов на входе. Пусть произвольное положительное число и Тогда найдется положительное число 6, зависящее от такое, что для всякого и всякого кода удовлетворяющего ограничению (см. (4.3.2)), средняя вероятность ошибки .

Доказательство. Зафиксируем и рассмотрим некоторый код при все слова которого удовлетворяют условию (4.3.2). Рассмотрим случайный процесс на входе канала, для которого с вероятностью единица в качестве реализаций появляются кодовые слова рассматриваемого кода. Будем считать, что вероятность каждой такой реализации равна Так как каждая реализация процесса удовлетворяет условию

то и сам процесс удовлетворяет условию Из определения информационной емкости имеем

где ансамбль кодовых слов с равномерным распределением вероятностей, ансамбль решений, для которого вероятности определены заданием канала. Второе неравенство в (4.3.7) есть следствие невозрастания средней взаимной информации при преобразованиях. Доказательство теоремы завершается применением неравенства Фано и рассуждений, приведенных при доказательстве обратной теоремы кодирования для дискретных каналов. Теорема доказана.

Наша цель по-прежнему состоит в том, чтобы показать, что по крайней мере в некоторых случаях, пропускная способность непрерывного канала равна его информационной емкости, а также в том, чтобы указать метод вычисления информационной емкости. В общем случае эта задача является весьма сложной. Для упрощения доказательств и для получения наглядных результатов мы ограничимся рассмотрением одного частного вида каналов, а именно непрерывных каналов с аддитивным белым гауссовским шумом и ограничением на полосу частот.

Говорят, что в канале действует аддитивный белый гауссовский шум, если шумовой процесс в определении 4.3.2 является процессом белого гауссовского шума. Это означает, что для любой системы ортонормированных функций случайные величины

являются совместно гауссовскими и статистически независимыми. Математическое ожидание каждой из с. в. (4.3.8) равно нулю, а дисперсия равна - интенсивности белого шума. Такой процесс можно представить себе как сумму бесконечного числа составляющих вида (гармонических составляющих, если гармонические функции). Мощность каждой составляющей равна отсюда название белый шум. Реально белый шум не может существовать, иначе процесс имел бы бесконечную мощность. Однако он является удобной математической моделью для описания реальных каналов, шум в которых имеет достаточно широкий спектр.

Предположим теперь, что некоторая функция заданная на интервале представима в виде конечного ряда

где некоторая фиксированная система ортонормированных на интервале [0, Т] функций, некоторое фиксированное число. Ограничение на конечность ряда (4.3.9) можно интерпретировать как ограничение на полосу, занимаемую сигналом (на полосу частот, если гармонические функции достаточно велико).

Действительно, пусть ортонормальные гармонические функции на интервале т. е.

Число является круговой частотой колебания

Поскольку является отрезком длины гармонического колебания, то в его спектре имеются компоненты, частоты которых отличаются от Так как спектр функции равен

и так как функция равна единице при и убывает к нулю при увеличении х, то при больших значениях спектр функции сосредоточен вблизи частоты Если некоторая функция имеет разложение вида (4.3.9) в ряд не более чем с членами, соответствующими значениям таким, что то при больших почти весь спектр функции будет находиться внутри полосы частот

Слова «почти весь спектр» требуют, вообще говоря, уточнения, которое может быть сделано с помощью так называемых эллиптических функций вытянутого сфероида. Мы отсылаем интересующегося читателя к книге Галлагера [1] и к работам Г. Ландау и Г. Поллака (см. Для целей нашего изложения уточнение не требуется, поскольку мы дальше будем рассматривать только такие сигналы на входе канала, которые представимы в виде конечного ряда (4.3.9) по некоторой системе ортонормальных функций. Следуя традиции, принятой в теории информации, мы будем полагать и говорить, что сигналы, представимые в виде (4.3.9), удовлетворяют ограничению на полосу частот.

Таким образом, мы приходим к модели непрерывного канала с аддитивным белым гауссовским шумом и ограничениями на среднюю мощность и на полосу частот входных сигналов. Код для такого канала определяется так же, как в определении 4.3.3, с тем только отличием, что каждое кодовое слово дополнительно удовлетворяет ограничению на полосу частот, т. е. каждое кодовое слово представимо в виде конечного ряда с членами по некоторой фиксированной системе ортонормальных функций. Аналогичным образом определяется пропускная способность и информационная емкость. В определении информационной емкости (см. определение 4.3.4) дополнительно требуется, чтобы случайный процесс имел представление в виде конечного ряда с членами относительно той же фиксированной системы ортонормальных функций:

Теорема 4.3.2. Информационная емкость непрерывного канала с аддитивным белым гауссовским шумом при ограничении на среднюю мощность и ограничении на полосу частот не зависит от выбора системы из ортонормированных функций и определяется соотношением

где интенсивность белого шума.

Доказательство. Напомним вначале, что средняя взаимная информация между двумя случайными процессами заданными на интервале определяется как следующий предел, если он существует,

где

и произвольная полная в (в пространстве функций, интегрируемых с квадратом) система ортонормированных функций. Пусть случайный процесс удовлетворяет условию (4.3.11). Так как случайные величины при вырождены (тождественно равны нулю), то они статистически независимы от первых и от всех с. в. Поэтому при всех

и, следовательно,

Так как белый гауссовский шум с интенсивностью то

являются в совокупности гауссовскими и статистическими независимыми с. в., причем математическое ожидание каждой из этих с. в. равно нулю, а дисперсия равна . В канале с аддитивным белым гауссовским шумом случайный процесс процесс на выходе канала, может быть представлен как

Тогда

причем с. в. статистически независимы в силу независимости процессов

Из равенства (4.3.16) следует, что для вычисления средней взаимной информации между процессами при

условии, что удовлетворяет ограничению на полосу частот, достаточно рассматривать среднюю взаимную информацию между входом и выходом непрерывного канала «дискретного времени», в котором на вход подается последовательность на выходе появляется последовательность и действует аддитивный гауссовский шум Поскольку с. в. статистически независимы и имеют одинаковое распределение вероятностей с нулевым средним и дисперсией то рассматриваемый канал является непрерывным каналом без памяти с дискретным временем и с аддитивным гауссовским шумом.

Если процесс удовлетворяет, кроме того, ограничению на среднюю мощность, т. е.

то из (4.3.11) и из ортонормальности функций следует, что

т. е. последовательность случайных величин удовлетворяет следующему ограничению на среднюю мощность:

Из определения информационной емкости следует, что

где в последнем выражении верхняя грань разыскивается по всем и по всем последовательностям с. в. таким, что выполняется условие (4.3.21). Задача отыскания этой верхней грани нами рассматривалась в теоремах 4.2.2 и 4.2.3. Согласно первой из этих теорем

где множество определено соотношением (4.2.6). Согласно второй из упомянутых теорем

Теперь из (4.3.22)-(4.3.24) следует выражение (4.3.12). Теорема доказана.

Таким образом, мы получили, что информационная емкость непрерывного канала с аддитивным белым гауссовским шумом при ограничениях на среднюю мощность и на полосу частот определяется формулой (4.3.12) и не зависит от выбора системы ортонормированных функций, устанавливающих вид возможных сигналов на входе канала, а зависит только от числа таких функций в системе. Легко увидеть, что является монотонно возрастающей функцией от Предел определяется с помощью правила Лопиталя

Для непрерывного канала с аддитивным белым гауссовским шумом при ограничениях на среднюю мощность и полосу частот входных сигналов остается справедливой обратная теорема кодирования. Она устанавливает, что для всякого кода, удовлетворяющего ограничениям на среднюю мощность и полосу частот и имеющего скорость большую, чем информационная емкость С указанного канала, средняя вероятность ошибки не может быть сделана произвольно малой, а остается не меньшей, чем некоторое положительное число. Доказательство такой теоремы в точности повторяет доказательство теоремы 4.3.1, и поэтому мы приведем только ее формулировку.

Теорема 4.3.3 (обратная теорема кодирования для непрерывных каналов с аддитивным белым гауссовским шумом при ограничениях на среднюю мощность и полосу частот сигналов на входе). Пусть информационная емкость указанного выше канала и произвольное положительное число. Тогда найдется положительное число , зависящее от такое, что для всякого и всякого кода удовлетворяющего ограничению на среднюю мощность и ограничению на полосу частот, средняя вероятность ошибки .