5.10. Гауссовские каналы с непрерывным временем

В этом разделе мы рассмотрим каналы с непрерывным временем с аддитивным стационарным гауссовским шумом и с произвольной спектральной плотностью. Иначе говоря, мы обобщим результаты, полученные в разд. 5.8, на случай, когда мы отказываемся от предположения о постоянстве спектральной плотности шума.

Представим гауссовский шум на каком-либо временном интервале длины в виде равенства (5.173) и выберем в качестве ортонормальных функций решения интегрального

уравнения (5.175). Тогда из теоремы, содержащей равенство (5.175), следует, что коэффициенты определяемые из выражения (5.174), статистически независимы и имеют гауссовское распределение. Сигнал на входе канала и сигнал на выходе канала выразим при помощи той же совокупности ортонормальных функций.

Рассмотрим сначала частный и до некоторой степени искусственный случай, когда в разложении в ряд только конечное число коэффициентов может отличаться от нуля. Предположим, кроме того, что их среднеквадратичные значения заданы. Эти коэффициенты удобно связать с соответствующими коэффициентами в рядах для заменяя целым изменяющимся от 1 до Итак, будем обозначать коэффициенты в рядах для через соответственно. Эти коэффициенты, как и в разд. 5.8, можно считать декартовыми координатами -мерных векторов

Теорема. Если заданное среднеквадратичное значение дисперсия то максимальное значение средней взаимной информации между u и v равно

Это значение достигается, когда компоненты статистически независимы и распределены по гауссовскому закону с нулевым средним и дисперсией, равной

Доказательство. Доказательство этой теоремы почти совпадает с доказательством первой теоремы в разд. 5.8. Из теорем, содержащих выражения (5.84) и (5.95), известно, что средняя взаимная информация достигает своего максимального значения, когда события на входе статистически независимы и на выходе имеют гауссовское распределение с нулевым средним и дисперсией, равной заданному Это максимальное значение может быть действительно достигнуто, если каждый коэффициент в выражении для сигнала на входе канала будет иметь гауссовское распределение с нулевым средним и дисперсией, равной Вычисление средней взаимной информации для такого распределения вероятностей входного сигнала приводит к правой части формулы (5.185). Ч. Т. Д.

Правая часть равенства (5.185) зависит от заданных среднеквадратичных значений х, и от дисперсий Определим максимальное достижимое ее значение, когда ни число

компонент , ни их среднеквадратичные значения не определены, но зато установлен верхний предел для среднего по ансамблю временных средних от для средней мощности входного сигнала. Так как правая часть равенства (5.185) соответствует статистически независимым то эта средняя мощность определяется как

Теорема. Перенумеруем компоненты шума в порядке возрастающих значений их дисперсий, так чтобы

и обозначим через

среднюю мощность компонент шума, обладающих наименьшими дисперсиями. Если средняя мощность входного сигнала не может превосходить некоторого определенного значения то максимальная величина средней взаимной информации между будет равна

где

а m - наибольшее целое число, для которого

Это максимальное значение достигается, когда коэффициенты входного сигнала статистически независимы и имеют гауссовское распределение с нулевым средним и дисперсией, равной

Доказательство. Из предыдущей теоремы известно, что если определены среднеквадратичные значения компонент входного сигнала, то максимальное значение средней взаимной информации равно правой части равенства (5.185), где число компонент входного сигнала, среднеквадратичные значения которых отличны от нуля. Это максимальное

значение достигается, когда компоненты входного сигнала статистически независимы и имеют гауссовское распределение с нулевым средним и дисперсией, равной заданному . Следовательно, мы должны определить такое множество положительных чисел которое при условии

максимизирует правую часть соотношения (5.185).

Пусть компоненты шума и входного сигнала занумерованы в соответствии с формулой (5.187), т. е. в порядке возрастания дисперсий шума. Очевидно, что если

то значение правой части равенства (5.185) может быть увеличено перестановкой т. е. операцией, при которой

Отсюда следует, что дисперсии компонент входного сигнала, максимизирующих правую часть равенства (5.185), удовлетворяют условию

Другими словами, вся имеющаяся средняя мощность должна быть распределена между теми компонентами входного сигнала, которые соответствуют компонентам шума с наименьшими дисперсиями.

Покажем теперь, что значение правой части равенства (5.185) не может превзойти значения правой части выражения (5.189). Используя соотношения (2.91), (5.188), (5.190) и (5.193), находим для разности этих двух величин, что

Знак равенства имеет место тогда и только тогда, когда для каждого целого

Мы приходим к выводу, что максимальное значение средней взаимной информации задается правой частью выражения (5.189), где является наибольшим целым, для которого удовлетворяется условие

Только что доказанной теореме можно дать следующее истолкование. Дисперсия каждой компоненты выходного сигнала есть сумма дисперсий и соответствующих компонент входного сигнала и шума. С другой стороны, дисперсии компонент выходного сигнала должны быть больше, чем так как наибольшее целое, для которого удовлетворяется условие (5.191). Из этого вытекает, что средняя мощность 5 так распределяется между компонентами входного сигнала, чтобы максимизировать наименьшие из дисперсий компонент выходного сигнала.

Полученные в этом разделе результаты справедливы для временного интервала любой длительности, если только используемые для представления ортонормальные временные функции удовлетворяют уравнению (5.175) для этого Как мы видели в разд. 5.9, синусоидальные временные функции удовлетворяют равенству (5.175) при стремящемся к бесконечности. Далее, при таком предельном переходе компоненты векторов станут коэффициентами Фурье. В этом случае равенства (5.185) и (5.189) можно, как утверждают следующие теоремы, записать в терминах спектральных плотностей

Теорема. Если спектральная плотность шума и если задана спектральная плотность сигнала то максимальное значение средней взаимной информации в секунду между при стремящемся к бесконечности, равно

Это максимальное значение достигается, когда входной сигнал является стационарным гауссовским процессом с нулевым средним и спектральной плотностью

Доказательство. Согласно теореме, содержащей выражение (5.185), достигает своего максимального значения для любого когда компоненты вектора и статистически независимы и имеют гауссовское распределение. Следовательно, можно рассматривать на временном интервале

как отрезок стационарного гауссовского процесса. Тогда из теоремы, содержащей равенство (5.180), получаем

где стремятся к бесконечности так, что их отношение представляющее собой частоту в герцах, остается конечным [в согласии с выражением (5.182)]. Соответственно представляет собой приращение частоты для соседних слагаемых в сумме (5.185); в пределе оно становится дифференциалом Таким образом, мы получаем из выражения (5.182), что

откуда сразу же следует выражение (5.199) в виду четности спектральной плотности шума. Ч. Т. Д.

Теорема. Пусть область частот (в общем случае совокупность непересекающихся полос частоты) 2), в которой спектральная плотность шума меньше определенной величины В, т. е.

Тогда если средняя мощность входного сигнала не может превзойти некоторого заданного то максимальное значение средней взаимной информации в секунду между при стремящемся к бесконечности, равно

где В — постоянная, удовлетворяющая условию

Это максимальное значение достигается, когда -стационарный гауссовский процесс с нулевым средним и спектральной плотностью

Доказательство. Эту теорему можно доказать, вычисляя максимальное значение правой части выражения (5.199) в предположении, что спектральная плотность подчиняется условию

Ясно, что если функция которая максимизирует правую часть выражения (5.199) отлична от нуля на какой-то частоте, где равно некоторому В, то она должна отличаться от нуля во всей области частот, где меньше или равно В. Следовательно, обозначая через эту область частот, имеем для некоторого значения В

С другой стороны, следуя методу, аналогичному использованному при выводе формулы (5.197), получаем, что

где В удовлетворяет условию (5.204). Знак равенства имеет место тогда и только тогда, когда

Отсюда следует, что правая часть равенства (5.207) принимает максимальное значение, когда удовлетворяет условию (5.205), а В - (5.204). Ч. Т. Д.

Область частот определяемая соотношениями (5.202) и (5.204), может быть бесконечной, как, например, это имеет место в случае белого шума. Однако на практике мощность на входе всегда сосредоточена на некоторой конечной полосе частот. Это ограничение не нарушает справедливости предыдущей теоремы, оно лишь требует дополнительно, чтобы

находилось внутри определенной полосы частот. На рис. 5.7 показано оптимальное распределение мощности входного сигнала при этих условиях; здесь нижняя и верхняя границы заданной области частот. Сплошная линия представляет спектральную плотность шума, а спектральная плотность входного сигнала представляется разностью между горизонтальной пунктирной линией и сплошной линией. График на рис. 5.7 можно интерпретировать следующим образом. Представим себе мощность сигнала как некоторый объем воды, а сплошную линию на рисунке как профиль дна сосуда единичной ширины, стенки которого соответствуют частотам

Рис. 5.7. Оптимальное распределение входной мощности.

Представим себе далее, что воду наливают в этот сосуд так, чтобы ее поверхность оставалась ровной. Конечный уровень (измеренный от оси устанавливающийся после того, как в сосуд налит общий объем воды соответствует постоянной

Теперь мы можем определить пропускную способность гауссовского канала с непрерывным временем в предположении, что средняя мощность входного сигнала не превосходит некоторой величины По определению, пропускная способность канала есть наименьшая верхняя грань средней взаимной информации в секунду между

По определению наименьшей верхней грани это означает, что при любом и любом распределении вероятностей входного сигнала, для которого средняя мощность не превосходит

и что при любом положительном существует некоторый временной интервал и некоторое распределение вероятностей входного сигнала, для которых средняя взаимная информация удовлетворяет соотношению

Пропускная способность канала определяется как наименьшая верхняя грань средней взаимной информации в секунду, а не как ее максимальное значение, так как оказывается, что средняя взаимная информация в секунду не достигает своего максимального значения, а лишь, как показано ниже, приближается к ней асимптотически при стремящемся к бесконечности.

Пусть ансамбли векторов представляющих собой временные функции на временных интервалах Обозначим через и ансамбли соответствующих выходных векторов.

Лемма. Пусть и -плотности распределения вероятностей входных векторов, соответствующих временным интервалам Ту и определим плотность распределения вероятностей для вектора как

где временная функция, представляемая совпадает с временной функцией, представляемой на интервале и с временной функцией, представляемой на интервале . Тогда

Доказательство. Левую часть неравенства (5.214) можно представить в виде

С другой стороны, из равенства (5.213) следует, что энтропия ансамбля есть сумма энтропий ансамблей т. е.

Кроме того, в силу условия (2.105), имеем

Тогда, подставляя правые части равенства (5.216) и (5.217) вместо в (5.215), получаем

Ч. Т. Д.

Теорема. Пусть значение средней взаимной информации, задаваемое равенством (5.189) при условиях, сформулированных в теореме, содержащей эту формулу. Пропускная способность в секунду гауссовского канала с непрерывным временем, на входе которого средняя мощность сигнала не превосходит равна

где -спектральная плотность гауссовского шума и где спектральная плотность сигнала на входе задается как

и где постоянная В такова, что

Это предельное значение средней взаимной информации в секунду получается, когда сигнал на входе канала — стационарный гауссовский процесс с нулевым средним и спектральной плотностью, определяемой равенством (5.220).

Доказательство. Из предыдущей леммы имеем

откуда следует, что для любого положительного целого числа

Это неравенство не обязательно означает, что функция монотонно возрастает с Но, как показано ниже, из него следует, что амплитуда колебаний этой функции стремится к нулю, когда стремится к бесконечности.

В силу определения наименьшей верхней грани [см. неравенства (5.211) и (5.212)] для любого положительного существует некоторое значение длины интервала для которого

Определим для любого целое такое, что

Тогда из неравенств (5.222) и (5.223) получим

и, в силу неравенства (5.224),

Откуда следует, что

что вместе с выражением (5.211) показывает, что

Последнее равенство и теорема, содержащая формулу (5.203), приводят к результатам, сформулированным в теореме. Ч. Т. Д.