6.5. Информация связи гауссовых величин

1. Рассмотрим две группы гауссовых случайных величин: и найдем информацию связи (6.4.4) между ними. Для этой цели удобно воспользоваться полученными в § 5.3 выражениями для энтропии гауссовых переменных, вычисляя информацию как разность Эту информацию можно вычислить в данном случае также по формуле (6.4.9), используя найденные в § 5.4 выражения для энтропии

Указанные гауссовские переменные характеризуются векторами средних значений

и корреляционными матрицами

Матрицы предполагаем невырожденными (в противном случае следует отбросить часть переменных, оставляя столько переменных, каков ранг матрицы). Матрица взаимных корреляций в общем случае может быть не квадратной (когда Совместная корреляционная матрица имеет вид

где Т означает транспонирование.

Используя (5.4.5), по формуле (6.2.5) находим случайную информацию

Для отыскания средней информации целесообразно использовать простую формулу (5.4.6а), которая дает

Этому результату можно придать другую форму. Поскольку

для любой матрицы А, то формулу (6.5.3) можно преобразовать к виду

или, если учесть (6.5.1) и перемножить матрицы,

где 1 — единичные матрицы.

Применим далее формулу

см. приложение и получим

или

Если воспользоваться разложением логарифмической функции в ряд

то из (6.5.7) будем иметь

Мы получили несколько различных эквивалентных формул для вычисления информации связи гауссовых переменных. Некоторыми из них, например (6.5.7), можно пользоваться, приводя матрицы к диагональному виду, а некоторые формулы, например (6.5.3), (6.5.9), позволяют избежать этого.

2. Частный случай 1. Пусть в каждой группе имеется по одной переменной. Совместная корреляционная матрица (6.5.1) имеет вид

коэффициент корреляции, а матрицы состоят из одного элемента: Тогда

и из (6.5.6) имеем

Частный случай 2. Возьмем три гауссовы величины с корреляционной матрицей

и найдем информацию связи первой случайной величины с двумя остальными. В этом случае матрица К распадается на подматрицы следующим образом:

Поскольку

имеем

Эта матрица состоит лишь из одного элемента. По формуле (6.5.6) получаем

Этот результат можно получить и из формулы (6.5.3), вычисляя детерминанты

При этом (6.5.3) дает

что совпадает с (6.5.13).

В дополнение к предыдущему вычислим тройную информацию связи (6.3.19) трех гауссовых случайных величин. Без ограничения общности их корреляционную матрицу можно брать в виде Используя (5.4.6а), (6.5.14), имеем

Прибавляя сюда согласно (6.3.20) парные информации которые имеют вид (6.5.11), получаем

Если произвести разложение найденного выражения по то, как легко видеть, получим для тройной информации формулу

Ее полезно сопоставить с вытекающей из (6.5.11) аналогичной формулой

для парной информации.

3. Частный случай 3. Рассмотрим случай аддитивных независимых помех, когда переменные второй группы есть результат прибавления к переменным

первой группы независимых гауссовых случайных величий

В этом случае число переменных первой и второй групп одно и то же Пусть есть корреляционная матрица переменных корреляционная матрица аддитивных помех Из условия независимости помех от х вытекает, что корреляционные матрицы для суммы (6.5.15) имеют вид

Чтобы применить формулу (6.5.7), вычислим В данном случае вследствие (6.5.16) имеем

но

поэтому

Следовательно, формула (6.5.7) дает

Пусть собственные значения матрицы тогда, очевидно

Если переменные взаимно независимы, то обе матрицы имеют диагональный вид

и (6.5.17) обращается в соотношение

В противном случае можно добиться диагональности (6.5.18) невырожденным линейным преобразованием С:

Это преобразование оставляет информацию (6.5.17) инвариантной, так как

Поэтому и в данном случае можно пользоваться формулой (6.5.19) после указанного преобразования.

4. Вычислим для гауссовых переменных характеристический потенциал (6.4.10) случайной информации связи. Для этого запишем случайную информацию (6.4.6), (6.5.2) в следующем виде:

где обозначено

Подставляя (6.5.20а) в формулу

и учитывая, что

при произвольной положительно определенной матрице получаем

Объединим последние два члена:

Матрица заведомо является невырожденной и положительно определенной при как сумма двух таких положительно определенных матриц. Поэтому формула (6.5.21) и последующие формулы справедливы, по крайней мере, на интервале

Полученному результату можно придать различную форму. Поскольку

то, учитывая (6.5.3), характеристический потенциал (6.5.21) можно записать

Полученное выражение, как легко проверить, дает при в соответствии с отмеченными ранее свойствами (6.4.11), (6.4.12).

После перемножения матриц в правой части равенства (6.5.22) получим матрицу

Поэтому формуле (6.5.23) можно придать вид

Применяя формулу (6.5.5), придем к результату

или

что соответствует формулам (6.5.6), (6.5.7). Если использовать разложение (6.5.8), то будем иметь

по аналогии с (6.5.9). В частности, легко найти дисперсию случайной информации связи гауссовых переменных. Для этого нужно взять коэффициент при в указанном разложении (6.5.26), что

Итак, мы видим, что все статистические свойства случайной информации связи гауссовых переменных определяются лишь одной единственной матрицей или В.

Для частного случая 1, рассмотренного ранее, в соответствии с формулами (6.5.25), (6.5.9) имеем

Не представляет труда применить приведенные формулы и к другим частным случаям.