5.6. Непрерывные постоянные каналы с дискретным временем и аддитивным шумом

Канал называют непрерывным, когда события на входе и выходе его представляются точками евклидовых пространств. Поскольку размерность этих пространств имеет второстепенное значение, мы, ради простоты, ограничим наше обсуждение одномерными пространствами. Таким образом, входное и выходное пространства будут образованы точками действительных прямых соответственно. Положения точек этих двух пространств будем отмечать их алгебраическими расстояниями х и у от произвольно выбранных начал.

Непрерывные каналы будут каналами с дискретным временем или с непрерывным временем в зависимости от того, будут ли точки, представляющие входные и выходные события, изменять свое положение только в определенные моменты времени или они могут изменяться непрерывно во времени. Например, если сигналами на входе и выходе являются прямоугольные импульсы напряжения фиксированной длины и произвольной амплитуды, то канал является дискретным во времени; канал будет непрерывным во времени, если напряжения на входе и выходе являются произвольными функциями времени. В этом разделе мы будем рассматривать каналы с дискретным временем.

По аналогии с дискретными каналами непрерывный канал с событиями, дискретными во времени, называют постоянным, если для любой заданной точки входного пространства условное распределение вероятностей на выходном пространстве будет тем же самым для всех последовательных пар входных и

выходных событий. В дальнейшем мы будем предполагать, что условное распределение вероятностей имеет плотность

Говорят, что непрерывный канал подвержен действию аддитивного шума, если зависит только от разности у их, т. е. если

где

Аддитивность шума — свойство непрерывных каналов, аналогичное свойству симметричности относительно входа, рассмотренному в разд. 5.3. В частности, условная энтропия выходного пространства для каждой точки входного пространства в случае непрерывного канала с аддитивным шумом имеет вид

и, следовательно, не зависит от х, так же как для дискретных каналов, симметричных по входу. Из выражения (5.81) следует, что условная энтропия непрерывного канала с аддитивным шумом не зависит от плотности распределения вероятностей событий на входе и задается выражением

Определение пропускной способности непрерывного постоянного канала с дискретным временем аналогично определению ее для дискретного постоянного канала. Пусть совместная плотность распределения вероятностей последовательности из входных событий, средняя взаимная информация между соответствующими последовательностями входных и выходных событий. Пропускная способность на событие С определяется как максимальное значение вычисленное по всем возможным распределениям вероятностей

входных событий и всем целым положительным

Наследующие две теоремы, аналогичные теоремам, полученным в разд. 5.2 для дискретных постоянных каналов, показывают, что это максимальное значение не зависит от и достигается, когда события на входе статистически независимы и имеют одно и то же распределение вероятностей. Доказательства этих теорем весьма близки к доказательствам, данным в разд. 5.2, и поэтому здесь опускаются.

Теорема. Пусть совместная плотность распределения вероятностей событий на входе и

— плотности распределения вероятностей отдельных событий. Обозначим через среднюю взаимную информацию между входными и соответствующими выходными событиями, а через среднюю взаимную информацию между событием на входе и соответствующим событием на выходе. Тогда для любого непрерывного постоянного канала с дискретным временем

где знак равенства имеет место тогда и только тогда, когда события на входе статистически независимы или когда каждое статистически не зависит от соответствующего 2). В последнем случае

Теорема. Пусть - условная плотность распределения вероятностей для непрерывного постоянного канала с дискретным временем, а произвольная плотность распределения вероятностей на пространстве входных событий. Пропускная способность канала равна максимальному среднему значению взаимной информации

вычисленному по всевозможным плотностям распределения вероятностей

При вычислении пропускной способности канала удобно представить в виде

где

Для канала с аддитивным шумом зависит только от и задается соотношением (5.82). Следовательно, в этом частном случае можно максимизировать, максимизируя

Сразу же становится ясно, что, до тех пор пока на плотность распределения вероятностей не наложено прямо или косвенно каких-либо ограничений, может быть сделана бесконечно большой. Среди многих ограничений, которые могут быть наложены, особо выделяется, в силу его большого практического значения и связанных с ним математических удобств, ограничение на среднеквадратичное значение х. В самом деле, если х представляет собой амплитуду импульса напряжения, то его среднее квадратичное значение

пропорционально средней мощности импульса. Другим представляющим интерес ограничением является ограничение наибольшего значения величины х, что соответствует введению верхнего предела для мощности каждого импульса [2].

В дальнейшем мы можем предполагать без ограничения общности, что среднее значение аддитивного шума равно нулю, т. е.

Тогда среднеквадратичное значение у

будет связано со среднеквадратичным значением х соотношением

где, в силу равенства (5.91),

есть дисперсия аддитивного шума. Статистическая независимость достаточная для справедливости выражения (5.93), вытекает из определения аддитивного шума, задаваемого соотношениями (5.79) и (5.80). Таким образом, задание верхнего предела для среднеквадратичного значения х эквивалентно заданию верхнего предела для среднеквадратичного значения у.

Теорема. Пусть энтропия случайной величины у, со среднеквадратичным значением Тогда

где знак равенства имеет место тогда и только тогда, когда -плотность гауссовского распределения вероятностей с нулевым средним и дисперсией, равным

Доказательство. Правую часть равенства (5.95) можно получить методами вариационного исчисления максимизируя по плотности распределения вероятностей при ограничениях, накладываемых условием

и соотношением (5.92). Однако нижеследующее доказательство теоремы более изящно.

Для произвольной плотности распределения вероятностей имеем

Следовательно,

С другой стороны, в силу равенства (2.91),

Подстановка неравенства (5.99) в выражение (5.98) дает

что и доказывает справедливость неравенства (5.95). Знак равенства в выражении (5.99), а поэтому и в выражении (5.100) имеет место тогда и только тогда, когда аргумент натурального логарифма равен 1, т. е. когда является плотностью гауссовского распределения вероятностей с нулевым средним и дисперсией, равной Ч. Т. Д.

Правая часть неравенства (5.95) для любого заданного значения есть максимальное значение если на плотность распределения вероятностей не накладывается никаких других ограничений. Однако если у — сигнал на выходе канала с плотностью распределения вероятностей шума то на входе канала может существовать (а может и не существовать) плотность распределения вероятностей для которой

будет плотностью гауссовского распределения вероятностей. В специальном, но весьма важном случае, когда -плотность гауссовского распределения, такое существует, и мы имеем следующую теорему.

Теорема. Если в непрерывном постоянном канале с дискретным временем аддитивный шум имеет гауссовское распределение с нулевым средним и дисперсией, равной а среднеквадратичное значение сигнала на входе не может превышать определенной величины то пропускная способность этого канала на событие определяется формулой.

Средняя взаимная информация равна тогда и только тогда, когда плотность распределения вероятности на входе — гауссовская с нулевым средним и дисперсией, равной

Доказательство. Из соотношений (5.82), (5.87), (5.88) и (5.93) и из теоремы, утверждающей неравенство (5.95), следует, что взаимная информация между событиями на входе и выходе удовлетворяет неравенству

где знак равенства имеет место тогда и только тогда, когда плотность распределения вероятностей событий на выходе — гауссовская с нулевым средним. С другой стороны, у является суммой двух случайных величин из которых последняя имеет гауссовское распределение с нулевым средним. Следовательно, у имеет гауссовское распределение с нулевым средним тогда и только тогда, когда х будет иметь гауссовское распределение с нулевым средним. Ч. Т. Д.

Если шум не имеет гауссовского распределения, то, вообще говоря, не будет существовать плотности распределения вероятностей для которой будет гауссовской плотностью распределения вероятностей, и вычисление максимального значения при ограничениях, накладываемых равенством (5.101), становится значительно более трудным. Однако для максимального значения можно установить следующую границу. Пусть для любого одномерного ансамбля У

где - выражено в двоичных единицах, так что

и пусть аналогично через определены величины Величина была названа Шенноном энтропийной мощностью из-за того, что она равна дисперсии случайной величины, имеющей гауссовское распределение и ту же энтропию Из теоремы, приводящей к неравенству (5.95), следует, что дисперсия удовлетворяет неравенству

Теорема. Если у есть сумма двух статистически независимых случайных величин с дисперсиями и энтропийными мощностями то энтропийная мощность удовлетворяет неравенствам

Знак равенства справедлив тогда и только тогда, когда имеют гауссовское распределение.

Доказательство. Верхняя граница для сразу же следует из теоремы, приводящей к выражению (5.95), и из формулы (5.93). Нижнюю границу можно получить, минимизируя при фиксированных Эти преобразования довольно трудоемки, ввиду чего здесь они не воспроизводятся (см. [2]).

Теорема. Рассмотрим непрерывный постоянный канал с дискретным временем, в котором действует аддитивный шум с нулевым средним, дисперсией и энтропийной мощностью Если среднеквадратичное значение сигнала на входе не может превосходить определенной величины то пропускная способность канала на событие С удовлетворяет неравенству

где знак равенства имеет место тогда и только тогда, когда шум — гауссовский; в этом случае

Доказательство. Верхнюю границу получим, полагая равным правой части равенства (5.95) при Это

будет максимальным значением, которое может принять если не учитывать ограничение, накладываемое условием (5.101). Условная энтропия выражаемая через энтропийную мощность шума, будет равна

Нижнюю границу получим, полагая гауссовской плотностью распределения вероятностей с нулевым средним и дисперсией, равной 5. В этом случае из неравенства (5.107) получаем

Далее, с помощью равенства (5.105) получаем для средней взаимной информации выражение

Ч. Т. Д.

Теорема, приводящая к выражению (5.95), утверждает, что энтропия некоторой случайной величины с заданным среднеквадратичным значением оказывается наибольшей, когда случайная величина гауссовская с нулевым средним. Это наводит на мысль, что помеха, вызванная аддитивным шумом, будет наиболее сильной, когда шум гауссовский. Высказанное интуитивное соображение доказывается строго следующей теоремой.

Теорема. Пусть С — пропускная способность непрерывного постоянного канала с дискретным временем, в котором действует аддитивный шум с нулевым средним и дисперсией при условии, что среднеквадратичное значение сигнала на входе не может превосходить заданной величины Пусть пропускная способность второго канала, идентичного первому, но отличающегося от него тем, что шум в нем гауссовский с нулевым средним и той же дисперсией

Тогда

Доказательство. Пропускная способность канала с гауссовским шумом задается равенством (5.102), а пропускная способность канала с произвольным шумом удовлетворяет неравенству (5.108).

С другой стороны, согласно неравенству (5.106), энтропийная мощность случайной величины не может превосходить

дисперсии этой величины. Отсюда следует, что

Ч. Т. Д.