6.4. Количество информации связи в общем случае

1. В предыдущих параграфах предполагалось, что рассматриваемые случайные величины являются дискретными, т. е. принимают значения из конечного или счетного множества состояний. При этом по существу использовались лишь общие свойства энтропии. Совершенно ясно, что приведенные выше формулы и утверждения для информации связи могут быть распространены на случай произвольных непрерывных или комбинированных случайных величин. В самом деле, в § 1.6, 1.7 было показано как для произвольных случайных величин ввести понятие энтропии, обладающей всеми свойствами энтропии дискретной версии. Нам остается лишь воспользоваться приведенными там соотношениями. Наличие обычных свойств энтропии обобщенной версии обеспечит выполнение для информации связи в обобщенной версии тех же соотношений, что и в дискретной.

Рассмотрим две произвольные случайные величины х, у. На абстрактном языке теории меры это означает, что задано вероятностное пространство и два борелевских подполя Первое определяется условиями, наложенными на условиями типа а второе условиями, наложенными на Предполагается, что кроме вероятностной меры Р заданы:

1) мера на объединенном борелевском поле мера на поле мера на

Эти меры таковы, что выполнено условие

соответствующее условию (1.7.8), мера Р абсолютна непрерывна на относительно меры (а значит, и меры При описанных условиях можно определить энтропии

В соответствии с формулами (6.2.2), (6.2.5), (6.2.6) информация связи определяется как разность

или, если подставить (6.4.2),

Последнее равенство можно принять за исходное определение информации связи независимо от использования понятия энтропии, что в принципе весьма удобно. Такое определение позволяет не вводить в рассмотрение вспомогательные меры

Формуле (6.4.4) соответствует следующее выражение для случайной энтропии:

Функция, стоящая под знаком логарифма, определяется как производная Радона — Никодима меры по мере

При таком ее определении, как известно, остается некоторый произвол. Различные ее определения могут не совпадать на множестве нулевой вероятности. Этот произвол, конечно, не сказывается на величине средней информации (6.4.4). Соотношениям (6.4.5), (6.4.4) можно придать также вид

Эти соотношения аналогичны формулам (6.2.4), (6.2.5) дискретной версии.

Формулы (6.2.8), (6.2.7) в обобщенном случае принимают вид

Без труда могут быть продублированы и другие формулы из § 6.2,

6.3. В дальнейшем будем писать соответствующие формулы в том виде, в каком потребуется.

Выполнение условия мультипликативности (6.4.1) для нормированной меры

означает равенство

(см. (1.7.16)). Следовательно, можно будет воспользоваться формулой (1.7.17). Учитывая (1.6.17), (1.7.17), нетрудно убедиться, что формулу (6.4.3) можно записать

Таким образом, энтропии также позволяют вычислять информацию связи как разность энтропий наподобие (6.4.3), но с другим знаком.

2. Информация связи (6.4.5), (6.4.6) является случайной величиной. Для некоторых целей, например для исследования вероятности ошибки при передаче сообщений по каналу с помехами (§ 7.2, 7.3), важно знать не только ее среднее значение но и другие статистические характеристики. Важной характеристикой этой случайной величины является ее характеристический потенциал Применяя формулу типа (4.1.11а) к случайной информации (6.4.5) (взятой с обратным знаком), получаем

Этот потенциал, как и характеристический потенциал (4.1.11а) любой случайной величины обладает свойством

Кроме того, он обладает дополнительным свойством

поскольку

Через характеристический потенциал (6.4.10) выражаются важные результаты теории оптимального кодирования при наличии помех (теоремы 7.2, 7.3).