5.4. Энтропия гауссовых случайных величин

1. Рассмотрим гауссовых случайных величин которые описываются вектором средних значений и невырожденной корреляционной матрицей

Как известно, такие случайные величины имеют плотность распределения вероятностей

где матрица, обратная корреляционной.

Чтобы определить энтропию указанных величин, введем вспомогательную меру удовлетворяющую условию мультипликативности (1.7. 9). Для простоты выберем меры которым соответствует одинаковая равномерная плотность распределения

Как будет видно из дальнейшего, удобно полагать

При этом

Учитывая (5.4.2), можно видеть, что при постоянной плотности

выполнено условие абсолютной непрерывности меры Р относительно меры В самом деле, равенство для некоторого множества А, состоящего из точек -мерного действительного пространства означает, что -мерный объем множества А равен нулю. Но для таких множеств вероятность также равна нулю. Указанное условие абсолютной непрерывности не было бы выполнено, если бы корреляционная матрица (5.4.1) была вырожденной. Поэтому условие невырожденности является существенным.

При описанном выборе мер случайная энтропия (1.6.14) имеет вид

Чтобы вычислить энтропию (1.6.13) остается произвести усреднение этого выражения. Учитывая (5.4.1), получаем

При выборе (5.4.4) имеет место простой результат

Матрица является симметричной. Поэтому, как известно, существует унитарное преобразование приводящее эту матрицу к диагональному виду:

Здесь собственные значения корреляционной матрицы, удовлетворяющие уравнению

При помощи этих собственных значений энтропию можно записать в виде

Этой формуле можно придать также вид

Полученный результат позволяет, в частности, легко найти условную энтропию Используя иерархическое свойство энтропии, можно записать

и, вычтя одно выражение из другого, получить

Каждую из энтропий, входящих в правую часть этого равенства, можно вычислить по формуле (5.4.8). Это приводит к соотношению

где

Аналогичным способом можно вычислить энтропию

2. Выберем теперь более сложные меры Именно, положим, что они имеют плотность распределения где гауссова плотность распределения

Условие мультипликативности (1.7.9) предполагается выполненным. При этом случайная энтропия (1.6.14) оказывается равной

Ее усреднение приводит теперь к соотношению

Вводя матрицу используя матричную форму записи, равенству (5.4.11) можно придать вид

Здесь мы учли, что матрица-столбец; означает транспонирование. Сравнивая (5.4.12) с (1.6.16), нетрудно видеть, что мы нашли тем самым энтропию распределения Р по распределению которая оказалась равной

где

Последняя формула получена в предположении мультипликативности (1.7.9) меры , а, следовательно, и Однако ее нетрудно распространить и на более общий случай. Пусть мера является гауссовой и определяется вектором и корреляционной матрицей необязательно диагональной. Энтропия является инвариантной относительно ортогональных преобразований (и вообще не вырожденных линейных преобразований) -мерного действительного пространства Совершив преобразование поворота, можно добиться того, чтобы матрица стала диагональной, и после этого применить формулу (5.4.13). Но формула (5.4.13) уже является инвариантной относительно линейных невырожденных преобразований и поэтому справедлива не только в случае диагональной, но и недиагональной матрицы . В самом деле, при линейном преобразовании , т. е. имеют место преобразования и, следовательно, Поэтому комбинации остаются инвариантными. Это доказывает, что формула (5.4.13) сохраняет свое значение не только в мультипликативном случае (1.7.9), но и в более общем случае, когда формулы (5.4.8), (5.4.9), (5.4.10) могут быть несправедливы.

3. В заключение этого параграфа вычислим дисперсию энтропии, которую полезно знать при исследовании вопроса об энтропийной устойчивости (см. § 1.5) семейства гауссовых случайных величин.

Начнем со случайной энтропии (5.4.5). Вычитая (5.4.6), находим случайное отклонение

средний квадрат которого совпадает с искомой дисперсией. Мы обозначили При усреднении квадрата этого выражения нужно принять во внимание, что

согласно известным свойствам гауссовых величин. Поэтому будем иметь

т. е.

Переходя к случайной энтропии (5.4.10), имеем

Используя, в свою очередь, (5.4.15), получаем

Не представляет особого труда вычислить и другие статистические характеристики случайной энтропии гауссовых переменных, в частности, ее характеристический потенциал

(см. (1.5.15), (4.1.18)). Так, подставляя сюда (5.4.5) и принимая во внимание вид (5.4.2) плотности распределения вероятностей, получаем

Здесь использована формула

справедливая при любой невырожденной положительно определенной матрице

Поскольку то в (5.3.18) члены с сокращаются, и мы получаем

что справедливо при Отсюда можно получить, в частности, формулу (5.4.16).