8.6. Гауссовы каналы

1. Пусть х и у являются точками многомерных эвклидовых пространств размерности соответственно.

Назовем канал гауссовым, если:

1) переходная плотность вероятности гауссова

причем

2) не зависят от х, а средние значения линейно зависят от х:

3) функция штрафов с есть степенная функция от х степени не выше второй:

Очевидно, можно так выбрать начало координат в пространствах (сделав замену чтобы линейные по х, у члены (8.6.3) и в экспоненте (8.6.1) обратились в нуль. Далее, постоянное слагаемое в (8.6.3) является несущественным и его можно опустить. Поэтому без ограничения общности в (8.6.1), (8.6.3) можно писать лишь билинейные члены. Применяя матричный способ записи, запишем (8.6.1), (8.6.3) в виде

Здесь подразумевается матричное произведение рядом стоящих матриц. Символ Т обозначает транспонирование; х, у — матрицы-столбцы, а соответственно — строки:

Матрица А является, разумеется, невырожденной положительно определенной матрицей, которая обратна корреляционной матрице Матрицу с также будем считать невырожденной и положительно определенной.

Как видно из (8.6.1), действие помех в канале сводится к прибавлению

шумов имеющих гауссов закон распределения с нулевым средним значением и корреляционной матрицей К:

(здесь снова применена матричная форма записи).

2. Перейдем к вычислению пропускной способности С и плотностей вероятности для рассматриваемого канала. Для этого обратимся к уравнению (8.2.9), которое, как указывалось в § 8.2, выполняется в подпространстве X, где имеются ненулевые вероятности В нашем случае X будет эвклидовым подпространством исходного -мерного эвклидова пространства В этом подпространстве матрица с (при помощи которой можно определить скалярное произведение), конечно, также будет невырожденной и положительно определенной.

Плотность распределения будем искать в виде гауссового распределения

Здесь размерность пространства — неизвестная (невырожденная в X) положительно определенная корреляционная

матрица. Средние значения выбраны нулевыми в соответствии с (8.6.4), (8.6.5) на основе соображений симметрии.

Из гауссового характера случайных величин если учесть (8.6.6), вытекает, что у также являются гауссовыми случайными величинами. При этом, усредняя (8.6.6) и учитывая (8.6.7), (8.6.9), нетрудно найти их среднее значение и корреляционную матрицу

Следовательно,

Подставляя (8.6.5), (8.6.11) в (8.2.9), получаем

При взятии условного математического ожидания учтем, что

в силу (8.6.6), (8.6.7). Поэтому (8.6.12) принимает вид

Полагая, в частности, имеем

и [после сравнения этого равенства с (8.6.13)]

Начиная с этого места под операторами и другими мы будем понимать операторы, действующие на векторы х из подпространства X и переводящие их в векторы из этого же подпространства (т. е. под х-операторами будем понимать соответствующие проекции исходных х-операторов). Тогда равенство (8.6.15) в силу произвольности х из X даст

Подставляя сюда равенство

следующее из получаем

где — единичный -оператор.

Используя при операторное тождество

[см. формулу приложения], приводим уравнение (8.6.17) к виду

Здесь

является х-оператором, а единичный х-оператор.

Оператор с (как исходный -мерный оператор, так и его -мерная проекция) является согласно вышеуказанному невырожденным положительно определенным. Из (8.6.19) следует поэтому невырожденность оператора

Отсюда нетрудно заключить, что каждый из операторов является невырожденным. В самом деле, детерминант произведения матриц, равный произведению детерминантов матриц-сомножителей, не мог бы быть отличным от нуля, если хотя бы один детерминант-сомножитель равнялся бы нулю. Из неравенства же вытекает невырожденность А. Итак, существует обратный оператор

Используя этот оператор, решаем уравнение (8.6.19):

Отсюда получаем

Далее, учитывая (8.6.10), имеем

Тем самым распределения найдены.

3. Остается определить пропускную способность С и среднюю энергию (штрафы) В силу (8.6.5) последняя, очевидно, равна

или, если подставить (8.6.22),

Здесь мы учли, что след единичного х-оператора равен размерности пространства X, т. е. «числу активных степеней свободы» случайной величины х. Соответствующая «теплоемкость» равна

(если не меняется при изменении На каждую степень свободы приходится, таким образом, средняя энергия в соответствии с законами классической статистической термодинамики.

Чтобы определить пропускную способность можно использовать формулы (8.6.14), (8.6.25) [при использовании (8.6.16), (8.6.21)] или обычные формулы для информации связи гауссовых переменных, которые дают

Подставим сюда (8.6.23). Легко доказать (перенося при помощи формулы слева направо), что

Иначе,

Приведенную логарифмическую зависимость С от температуры Т можно получить уже из формулы (8.6.25), если учесть общее термодинамическое соотношение (8.2.20). Оно в данном случае в силу (8.6.26) принимает вид

Справа стоит дифференциал от

Найдем теперь термодинамические функции для рассматриваемого канала. Используя (8.2.6), (8.6.25), (8.6.27), (8.2.17) имеем

Далее, исключая параметр Т из (8.6.25), (8.6.27), получаем

Эти функции, как указывалось в § 8.2, облегчают использование условия (8.1.1), (8.1.2).

Величина С возрастает с ростом а, зависимость между Спа в соответствии с терминологией § 8.2 является в данном случае нормальной. Если условие имеет вид (8.1.1), то пропускная способность канала получается из (8.6.29) подстановкой

4. Примеры. Простейшим является тот частный случай, когда матрица кратна единичной:

Это имеет место в том случае, когда, скажем,

Подставляя (8.6.30) в (8.6.29), в этом случае получаем

так как

В соответствии с формулами (8.6.22), (8.6.25) корреляционная матрица на входе имеет вид

Рассмотрим несколько более сложный пример. Пусть пространства совпадают друг с другом, матрицы являются единичными, а матрица К диагональна, но не кратна единичной:

Помехи, следовательно, являются Независимыми, но не одинаковыми. В этом случае

Подпространство X есть пространство меньшей размерности. Для него отличны от нуля не все компоненты а лишь их часть, скажем, компоненты Это значит, что если не принадлежит множеству то для При

этих обозначениях матрицу (8.6.33) правильнее было бы записать так:

Приведем ряд других соотношений, используя введенное множество Формула (8.6.22) для рассматриваемого примера принимает вид

а равенства (8.6.27), (8.6.24) в силу (8.6.33) дают

Приведенные формулы полностью решают задачу, если известно множество индексов соответствующих ненулевым компонентам векторов х из Укажем, из каких соображений оно определяется.

В случае гауссовых распределений плотности вероятности конечно, не могут быть отрицательными, поэтому подпространство X определяется не из условия положительности вероятностей (см. § 8.2). Может нарушиться, однако, условие положительной определенности матрицы которая задается формулой (8.2.22), и нужно особо проверить его выполнение. Кроме того должно выполняться условие невырожденности оператора (8.6.20). В данном примере об этом условии заботиться не приходится, поскольку но условие положительной определенности матрицы т. е. согласно (8.6.34) условие

является весьма существенным. Для каждого фиксированного Т множество индексов определяется именно из условия (8.6.36). Поэтому в формулах (8.6.35) под знаком суммы вместо можно записать

Полученные соотношения удобно проследить по рис. 8.2. По оси абсцисс откладывается индекс а по оси ординат — дисперсии помех (ступенчатая линия). Фиксированной температуре соответствует горизонтальная линия. Под ней (между ней и ступенчатой линией) лежат отрезки в соответствии с (8.6.34). Точки пересечения указанных двух линий определяют границы множества Площадь, лежащая между горизонтальной и ступенчатой линией, равна суммарной полезной энергии а, а заштрихованная площадь, лежащая между ступенчатой линией и осью абсцисс — суммарной энергии помех

Аналогичными методами пространство X (как функция от Т) определяется и в более сложных случаях.

5. Вычислим для гауссовых каналов термодинамический потенциал (7.4.3), определяющий оценку (7.4.2) вероятности ошибки декодирования.

Информация

уже входила в формулу (8.6.12).

Рис. 8.2. Определение пропускной способности для случая независимых (спектральных) составляющих полезного сигнала и аддитивных помех с равнораспределеными составляющими.

Подставляя ее в равенство

при учете (8.6.4), (8.6.8), получаем

Этот интеграл легко вычислить при помощи известной общей матричной формулы (5.4.19). Он, очевидно, оказывается равным

где

Чтобы вычислить воспользуемся формулой

которая следует из формулы приложения. Ее применение дает

Логарифмируя это выражение и учитывая формулу (6.5.4), находим

Последний член мы здесь несколько упростили, приняв во внимание, что

Если воспользоваться формулой

при [см. то в последнем члене в (8.6.40) можно перенести справа налево, после чего два последних члена удобно объединить в один:

Здесь, кроме того, полезно заменить на [см. (8.6.10)]. Тогда равенство (8.6.40) примет вид

Поскольку то, как мы видим, функция оказалась выраженной через единственную матрицу Принимая во внимание (8.6.23), (8.6.22), можно преобразовать формулу

(8.6.42) таким образом, чтобы выражалась через единственную матрицу В самом деле, подставляя (8.6.23), имеем

Перенося справа налево в соответствии с формулой (8.6.41) [во втором члене при получаем

Этой формуле можно придать также вид

или

Отсюда получаем, в частности, дисперсию информации

Если применить (8.6.43) к частному случаю (8.6.31), то будем иметь

Во втором же рассмотренном примере (8.6.33) имеем

Используем (8.6.43), чтобы вычислить коэффициент (7.4.19) в формуле (7.4.2) для вероятности ошибки. Поскольку в (8.6.43) входит лишь одна матрица, производную можно вычислить простым способом не принимая во внимание матричную некоммутативность. Это дает

Здесь учтено, что

В итоге согласно (7.4.2) находим, что коэффициент а в оценке

находится путем решеййя системы уравнений

Используя тождество

эту систему можно привести к виду

При малых отклонениях можно воспользоваться разложением (7.4.24). Так, удерживая лишь первый член и учитывая (8.6.45), имеем