§ 4.2. Непрерывные каналы без памяти с дискретным временем

В этом параграфе будет рассмотрена прямая теорема кодирования. Хотя в дальнейшем будут рассматриваться только непрерывные каналы без памяти с дискретным временем, мы начнем с общего результата, который позволяет получать прямые теоремы кодирования не только в случае каналов без памяти. Этим результатом является неравенство Файнстейна, вывод которого для непрерывных каналов с дискретным временем в точности повторяет соответствующий вывод для дискретных каналов и поэтому здесь опускается. Ниже будет приведена только формулировка теоремы, устанавливающей это неравенство.

Теорема 4.2.1 (неравенство Файнстейна), Пусть задан произвольный непрерывный канал с дискретным временем. Пусть произвольное положительное число, произвольное подмножество множества сигналов на входе канала, произвольная ф. п. в. на Тогда для любых значений существует код каждое слово которого принадлежит подмножеству а максимальная вероятность ошибки удовлетворяет неравенству

где

Читателю нетрудно догадаться, что при использовании неравенства Файнстейна для доказательства прямых теорем кодирования для непрерывных каналов с дискретным временем при ограничении на среднюю мощность сигналов на входе в качестве множества будет выбрано множество всех последовательностей таких, что

Теперь мы рассмотрим непрерывные каналы без памяти с дискретным временем и покажем, что в этом случае имеет место теорема, аналогичная теореме для дискретных каналов без памяти.

Из нее вытекает, что информационная емкость каналов без памяти может быть вычислена более простым образом, чем в определении 4.1.3, а именно верхнюю грань в (4.1.16) можно искать, полагая

Пусть — условные ф. п. в., задающие канал без памяти:

Определим множество ф. п. в. на X следующим образом:

Для каждой функции определена средняя взаимная информация между ансамблями

Теорема 4.2.2. Информационная емкость непрерывного канала без памяти с ограничением на среднюю мощность входных сигналов определяется соотношением

где максимум разыскивается по всем ф. п. в. f (х) из множества

Доказательство. Пусть произвольная ф. п. в. на которая принадлежит множеству т. е. которая удовлетворяет ограничению (4.1.13). Тогда из (4.2.5), как и при доказательстве теоремы 3.5.1, следует неравенство

где

и

В неравенстве (4.2.8) равенство достигается в том случае, когда выходные сигналы канала в различные моменты времени статистически независимы (см. доказательство теоремы 3.5.1). Заметим, что в случае каналов без памяти независимость выходных сигналов обеспечивается выбором статистически независимых сигналов на входе, т. е. таким выбором, что

Средняя взаимная информация является выпуклой вверх функцией относительно входных распределений (см. § 2.5). Поэтому

где

и

причем случайной величины на входе канала в момент времени определяемая соотношением (4.1.15). Легко увидеть, что принадлежит множеству Действительно, для любой из (4.2.15) следует, что

В неравенстве (4.2.12) равенство достигается в том случае, когда для всех Таким образом,

Легко указать функцию на которой достигается максимум. Пусть на которой достигается максимум в последнем выражении в (4.2.17). Положим

Очевидно, что принадлежит множеству При таком выборе входного распределения вероятностей выходные сигналы канала статистически независимы. Следовательно, имеет место первое равенство в (4.2.17), кроме того, следовательно, имеет место второе равенство в (4.2.17).

Тем самым, мы показали, что

Теорема доказана.

Теперь мы еще более сузим класс рассматриваемых непрерывных каналов, а именно, рассмотрим канал без памяти с дискретным временем и аддитивным гауссовским шумом.

Предположим, что для любой случайной последовательности входных сигналов выходная последовательность может быть записана в виде

причем случайные последовательности статистически независимы и независимые гауссовские с. в. Если обозначить через случайного вектора то

где

Число называется при этом мощностью шума.

Из (4.2.20) и статистической независимости следует, что

т. е. рассматриваемый канал является непрерывным каналом без памяти, в котором действует аддитивный гауссовский шум.

Теорема 4.2.3. Информационная емкость непрерывного канала без памяти с дискретным временем, с аддитивным гауссовским шумом мощности и ограничением на среднюю мощность входных сигналов определяется соотношением

Доказательство. Для канала с аддитивным гауссовским шумом

где неравенство выполняется в силу того, что с. в. У имеет ограниченный средний квадрат:

Равенство в (4.2.25) достигается в том случае, когда с. в. является гауссовской и имеет дисперсию Это условие выполняется, когда с. в. X является гауссовской, имеет нулевое математическое ожидание и дисперсию

Таким образом,

где максимум достигается выбором гауссовской ф. п. в. f (х) с параметрами Теорема доказана.

Перейдем теперь к формулировке и доказательству прямой теоремы кодирования для непрерывных каналов без памяти с аддитивным гауссовским шумом.

Теорема 4.2.4 (прямая теорема кодирования). Пусть С — информационная емкость непрерывного канала без памяти с дискретным временем и аддитивным гауссовским шумом мощности при ограничении на среднюю мощность входных сигналов, определяемая формулой (4.2.24). При любом и любом положительном существует код удовлетворяющий ограничению на среднюю мощность кодовых слов, максимальная вероятность ошибки декодирования которого удовлетворяет неравенству

Доказательство. Воспользуемся неравенством Файнстейна (теорема 4.2.1), в котором множество будем рассматривать как множество всех последовательностей удовлетворяющих ограничению на среднюю мощность:

Согласно теореме 4.2.1 для любой ф. п. в. f (х) на и любого положительного числа существует код каждое слово которого принадлежит множеству т. е. каждое слово которого удовлетворяет ограничению на среднюю мощность, и максимальная вероятность ошибки удовлетворяет неравенству

где

Пусть Выберем ф. п. в. f (х) следующим образом. Положим

где

Рассмотрим среднюю взаимную информацию вычисленную относительно распределения на где функция определяется каналом, а равенством (4.2.33). Пусть

где корень уравнения

или, что то же самое, уравнения

Из последнего соотношения видно, что — непрерывная функция причем при при

Покажем, что при достаточно больших вероятность достаточно близка к единице. Действительно,

В соответствии с (4.2.32) с. в. статистически независимы, одинаково распределены и имеют математическое ожидание К этим с. в. применим закон больших чисел, согласно которому при больших вероятность, записанная в правой части соотношения (4.2.37), близка к единице. Точнее, существует такое что для всех

для любого положительного числа .

Выберем параметр следующим образом:

Тогда при согласно неравенству Файнстейна найдется код такой, что

Рассмотрим вероятность Так как для наступления события необходимо наступление события

Правую часть последнего соотношения можно оценить следующим образом:

В силу выбора указанного в (4.2.32), с. в. статистически независимы, одинаково распределены и все имеют математическое ожидание К этим с. в. применим закон больших чисел, согласно которому для любых найдется такое число что для всех

Наконец, найдется такое число что для всех

Таким сбразом, если выбрать из условия

то при существует код для которого максимальная вероятность ошибки

Теорема доказана.

Обратная и прямая теоремы кодирования позволяют теперь сформулировать следующее утверждение.

Следствие 4.2.1. Пусть С — информационная емкость непрерывного канала без памяти с дискретным временем, аддитивным гауссовским шумом и ограничением на среднюю мощность входных сигналов. Пусть С — пропускная способность этого канала, т. е. такое максимальное число, что для любого положительного и любого существует код удовлетворяющий ограничению на среднюю мощность кодовых слов, максимальная вероятность ошибки которого не превосходит Тогда